Blog

Killing the ELK Stack

Well, I tried to load a 4 GB json file from http://download.aws.dk/ into ES as in:

root@elkserver1:~# curl -XPOST 'http://localhost:9200/adresses/address' -d @adresser.json
Killed

After the "killed", the ES stack went bad for some time - and finally came back into green state; - in that Time, Kibana just showed "RED" (sad)

Well, then I tried to created an index pattern over "adresses", and the index-pattern became present in Kibana, but it did not work at all.

 

Tried to delete the Index, but ES told me there was no index.. And I could not click on the index pattern in Kibana. 

Finally I got it deleted with:

root@elkserver1:~# curl -XDELETE "http://localhost:9200/.kibana/index-pattern/adresses"
{"found":true,"_index":".kibana","_type":"index-pattern","_id":"adresses","_version":2,"result":"deleted","_shards":{"to...
 
root@elkserver1:~# service kibana stop
root@elkserver1:~# service kibana start

 

And the mapping was gone....

Projekt målinger

Jeg har sat mig for at prøve at opsamle lidt målinger fra vores husstand og hvor jeg eller kan finde målepunkter, her er en løs ide skitse:

 

Finde måleværktøj

Muligheder:

SplunkKender jeg fra mit arbejde på Netic A/S - Gritis intil 500 mb/dag. Imponerende stærkt værktøj
ELK StackGratis / Open Source - ukendt men med mang splunk ligheder - dog er det mere sammensat af forskellige applikationer (godt nok af samme udvikler)
FluentdKendes ikke.
GrayLog 

P.t. er ELK stakken valgt, splunk er nok egentlig bedst og mest stabilt og ville bringe mig længst, men så er det jo ikke sjovt nok..... 

Installation er her: ELK - ElasticSearch, LogStash, Kibana

Update 20-04-2016 - ELK var spændende, men en single node med Elasticsearch gav udfordringer, så det er pt. Splunk, der kan langt, langt mere end Kibana ....men ELK er nu ikke glemt

Update 10-12-2016 - ELK er på spil igen, men min splunk kører videre

 

Hvilke målepunkter kan være interessante

Syslog + Audit Log fra alle servere (der er p.t. moserver, afserver, elkserver) 
Web logs fra alle servere 
CPU og Memery forbrug på servere (via Beats for splunk)

Sidevisninger på www.mos-eisley.dk

Ping log fra server til Klarup Kabelnet (via ping script)
Ping log fra Klarup Kabelnet til server (via ping script)
Zensehome forbrug pr. enhedVenter p.t. på svar fra Zensehome Zensehome API interfacing

Internetaktivitet (Via syslog)

 

DHCP fra ASUS Router (Via syslog)
Kamera overvågning

Inspired by blazy, I have found some more to investigate:

 

http://www.magictoolbox.com/magiczoom/

Det måtte jo komme - også fra min hånd - en ren subjektiv og kun delvis seriøs sammenligning af min gamle Apple iPhone 4s og min nye Samsung Galaxy Note 3 (Galaxyen).

Da jeg ikke selv har haft en iPhone 5s'er - nævnes denne bare hvor jeg mener det er relevant (eller anderledes end 4s)

Samsung Galaxy Noten har jeg kun haft ca 2 uger, så alle kroge er slet ikke udforsket endnu - en af grundene til at jeg valgte at skifte var først og fremmest ønsket om en større skærm, en pen og så syntes jeg at iOS er stagneret ret meget på det sidste....

 

Hardware,Størrelse og Vægt

Det er her vi først ser de virkelig store forskelle, Galaxyen's skærm er bare så stor og klar og rar at arbejde med, f.eks under læsning af SMS'er, mails og specielt Websider - 5,7" med full HD er altså nice. Der er også mulighed for dual-screening, så 2 apps tager en halv skærm hver - det er sikker meget fint, men ikke lidt noget jeg bruger.

 iPhone 4siPhone 5sSamsung Galaxy Note 3
Vægt140g112g168g
Højde115,2 mm123,8 mm151,2 mm
Bredde58,6 mm58,6 mm79,2 mm
Dybde9,3 mm7,6 mm8,3 mm
Skærmstørrelse3,5" (960 x 640 pixels)4" (1136 x 640 pixels)5,7" (1080 x 1920 pixels)

 

Når man efterfølgende får en 4s eller 5s i hånden virker skærmen bare så lille....Der er ingen downsides ved den store skærm (smile) 

Størrelsesmæssigt syntes jeg heller ikke Galaxy'en er voldsom, jeg kan have den i en bukselomme og tage den op, selv siddende i et bilsæde med selen på. Det er klart at den er noget større end iPhone 4s og iPhone 5s, men jeg finder det ikke en hæmsko (det virker voldsommere på papiret end det egentligt er) - eneste sted den ikke sidder p.t. er på min arm under omgang i motionscenteret, her er den nok lige voldsom; eller - jeg gider ikke købe armholderen for at teste det. Man skal lige vende sig til størrelsen når man taler i den, men igen, det tager ikke mange dage.

Hvor Apple's iPhone er dejligt aluminium er Samsun's Galaxy plastik, omend udemærket plastik - men samme niceness i feel får man altså ikke - jeg tog gerne 20-30 g extra for en gang unibody istedet for metallignende plastik.

 

Et pussigt faktum er nok at ved at revidere min brug af mine smartphones - er noget af det jeg bruger min mobil mindst til - er at tale i den... jeg bruger den faktisk meget mere til kommunikation på alle andre former: mail, sms, web browsing, facebook etc...

 

Vægtmæssigt føles den ikke tungere end en iPhone 4s - vi taler 28g mere - så er vi altså helt ude på marginalerne hvor man også skal tælle coveret og skidtet/nullermændene med.

 

Operativsystem - Android eller iOS

Der er ingen tvivl om, at Android og iOs er 2 forskellige verdener - der egentlig begge har samme end-mål - at give brugeren en god brugeroplevelse og understøtte Apps og god UI. Og dette gør de begge til fulde, men på hver sin måde:

Hvor iOs er meget strict og frem og samme vej tilbage gennem apps og UI, er Android mere præget af mulighederne for at hoppe rundt i en App - og dette kan være både godt og dårligt; hvor man i iOS sjældent "farer vild", kan man godt blive lidt forvirret i Android Apps.

Til gengæld er jeg vild med Android's 2 knapper der findes på (alle vil jeg tro) Android telefoner - "Tilbage" og "Settings" - hvor iPhone jo egentlig kun har en Home knap. De 2 knapper er simpelthen så praktiske (alt efter udviklerens evne til at udnytte dem) - en iPhone med en "tilbage" knap ville være et stort plus.

En af de fede ting ved Android er alle de opsætningsmuligheder der er i OS'et, nogle gange er det på Apple er lidt af en "pain in the ass" - f.eks brug af mp3 som ringetoner (der skal konverteres etc), det bare lige ud af landevejen på Android. Der er bare noget Geek over at se alle mulighederne, og ønsker man det, giver en lille App ssh adgang til telefonen. Der er et hav af indstillingsmuligheder for 1-hånds betjening, gestures etc etc.

Eneste egentlige minus ved Android jeg er stødt på er at i nyere Android er "USB Mass Device" (det at en Android telefon kan mountes som en almindelig USB Disk) fjernet, til fordel for (og nej, det er ikke en fordel -læs om det her !!) MTP - Media Transfer Protocol. Det giver bøvl med at overføre billieder nemt fra Galaxy'en hvis man som jeg ikke ønsker at bruge ting som Google+, Piscasa Web Album etc, men faktisk bare vil arbejde med sine billeder flytbare filer. Samme ting har iøvrigt også altid irriteret mig på iOS platformen, hvor iTunes er lidt af et tåbeprogram at arbejde igennem, specielt hvis man råder over mange devices. Så p.t. har jeg tabt lidt niceness til iPhoto, da MTP på OSX platformen kun virker gennem Android File Transfer

Opdatering pr. 27 Juni 2014

 

Det kan ses af billedet, at man kan sætte USB'en i PTP mode - så virker det med iPhoto (smile)

Mass Storage til venste på billedet er det der er forsvundet.

 

 

 

 

Til gengæld er Android godt integreret med en masse Google Applikationer (efter min smag lidt FOR godt) - man bliver hurtigt både Googli'ficeret og Samsung'ificeret. 

Androiden har også stemmestyring, noget jeg slags slog fra ligesom med iOS' SIRI - det er sgu bare et crappy concept.

 

Apps og Appstores

Appsmæssigt er der mange apps til begge systemer, en del findes ikke til Android (som min dejlige Marantz remote) og sikkert omvendt...

Google's Playstore er hverken værre eller bedre end Apple Appstore - og begge Stores har mulighed for direkte betaling og autoopdatering af Apps.

Ingen vinder eller taber her - ud over at jeg ikke ved om køb af en App i Google Playstore kan bruges på andre devices.

Stabilitetsmæssigt har alle Apps jeg har prøvet også virket upåklageligt.

 

Connectivity,Mail/kalender

Mail og kalender virker ganske glimrende, dog blev jeg overrasket over at CALDav ikke understøttes på Android (Der jo er en Linux) - men integration af mail/kalender og kontakter fra vores Zimbra klares i ét hug via Exchange ActiveSync og spiller fint - og via alt det indbyggede Google er gmail og google calender også fint med.

Men private post er på via IMAP(S) og det virker også fint - som med iOS har man både seperate og en "Combined" indbox - ingen deciderede ændringer der; ud over at Android har flere indstillinger for notificering her som de fleste andre steder, - det kan man jo tolke som både godt og skidt alt efter temperament.  

Andre ting

Galaxy'en kommer med en Pen, noget jeg virkeligt havde set frem til - og den er også rar at bruge, men ofte glemmer jeg den er der og bruger bare klør fem. Men den er meget præcis og har en knap indbygget således at funktioner i Apps kan tilgåes hurtigt. En smart ting er, at hvis man fjerner pennen for langt fra Galaxy'en begynder den at bippe - dette sikrer (eller sandsyngliggør) at man faktisk ikke glemmer pennen. 

Galaxy'en har microSD slot, hvilket er virkeligt nice - et 64 GB kort koster ikke alverden - en ting der altid har irriteret mig en smule ved Apple iPhones.

AirPlay er ikke native supporteret af Galaxy'en, men klarer via en App - hvilket giver en udemærket integration, men helt godt er det ikke.

Generelt er fornemmelsen, der er et "shitload" af indstillinger - se f.eks http://au.ibtimes.com/articles/515279/20131021/60-tips-tricks-samsung-galaxy-note-3.htm#.UzPJ-K1dXQk - men man opdager også, at ret mange af dem nok er nitty-gritty-flueknepperagtigt og knap så brugbare eller værd at skrue på.

Konklusionen

må være at der bestemt ikke kan kåres en vinder, med mindre man er religiøs Apple-, Android- eller Samsung-fanatiker - så er man jo alligevel fortabt og ikke lydhør .... og ser ikke på fakta.

Begge telefoner (og platforme) er utroligt modne og capable og generelt meget stabile; selvom det må antages at Apple' meget stramme (læs lukkede) eco-system alt andet lige bør give større stabilitet end Androids meget mere åbne platform, kombineret med at Apps skal understøtte N antal Android devices, alle med forskellige specifikationer. Jeg har dog ikke oplevet flere crash på Galaxy'en end på Iphone - og med en Samsung er man nok også på den sikreste grund pga. deres andel af Android telefoner på markedet og i brugernes hænder.

Men begge telefoner er små powertools der understøtter alle de operationer og behov man har til dagligt; mange skræmmes helt sikkert (helt overdrevet) af Galaxyens størrelse - og som nævnt tidligere virker det voldsomt på papiret, mens virkeligheden er en anden.

Men der er ingen tvivl om, at Galaxyens skærmstørrelse er en (for mig) meget positiv faktor, jeg så gerne en iPhone med ca. 6" skærm, iOs og de 2  "Tilbage" og "Settings" knapper....og så men brug af mp3 filer til ringetoner, hvor svært kan det være...

Grayscaling everything

I was thinking to do this:

<style>
body {
-webkit-filter: grayscale(100%);}
</style>

To make a paperlike homepage, but the thought was funnier than the result...

Using http://philogb.github.io/jit/static/v20/Docs/files/Visualizations/Hypertree-js.html for Confluence... (smile)

I have started to look into the Challenge, even though I am not a developer...

Yes - Prototype in function HyperTree Sample

Hopefully this will assist me: https://developer.atlassian.com/display/DOCS/Using%20the%20REST%20API%20Browser

Thursday night on the couch, having a day off friday, I decided to do some layout work on the Confluence we use at my workplace (just for the fun of it, as my work is my hobby - sort of anyway).

I had created a new User Macro, that I wanted to implement on the Dashboard, so I started editing in the Global Layouts in Confluence to place it on the Dashboard:

As part of the changing of the Dashboard code, I entered:

{html}<font size="4">Space Quick Select</font>{html}

pressed "Save" and:

the Confluence went down - just giving me a "Service Unavailable" from the Traffic Manager.

Shit, I restarted the instance- no improvement.....so starting to diagnose:

npn@docs01:~$ wget -O - localhost:8080
--2014-01-30 21:46:27--  http://localhost:8080/
Resolving localhost... ::1, 127.0.0.1
Connecting to localhost|::1|:8080... connected.
HTTP request sent, awaiting response... 500 Internal Server Error
2014-01-30 21:46:28 ERROR 500: Internal Server Error.

npn@docs01:~$

 

Hm, error 500, diagnosting further:

root@docs01:/pack/confluence-data/logs# tail -f atlassian-confluence.log
caused by: java.lang.RuntimeException: Error rendering template for decorator global
at com.atlassian.confluence.setup.velocity.ApplyDecoratorDirective.render(ApplyDecoratorDirective.java:186)
caused by: org.apache.velocity.exception.ParseErrorException: Encountered "4" at /decorators/global.vmd[line 38, column 87]
Was expecting one of:
    "," ...
    ")" ...
    <WHITESPACE> ...

at org.apache.velocity.Template.process(Template.java:141)

 

So, It seems the code I put in the Global layout makes the Confluence crash totally, not just rendering the Dashboard, but TOTALLY!!!

I fired up for MySQL and looked at the DECORATORS table:

mysql> select DECORATORID,DECORATORNAME FROM DECORATOR;
+-------------+-----------------------+
| DECORATORID | DECORATORNAME         |
+-------------+-----------------------+
|    64913409 | decorators/global.vmd |
|    48300036 | decorators/page.vmd   |
|    59080705 | decorators/page.vmd   |
+-------------+-----------------------+
3 rows in set (0.00 sec)

mysql>

 

Now, 2 choises are available:

  1. Fix It
  2. Delete the DECORATORID=64913409 record.

All though I am pretty sure number 2 works (same as using "Reset Default"), I went for number 1:

 

First, I shut down Confluence completely.

Then I made a complete dump of the Confluence Database:

mysqldump -uconfluence -p confluence > confluence.sql

 

After securing the backup, I dumped the DECORATOR table:

mysqldump -uconfluence -p confluence DECORATOR > DECORATOR.sql

 

After that, I changed the DECORATOR.sql file i the "vim" editor - stripping off everything but the record for DECORATORID=64913409, and change the "INSERT INTO" to an "UPDATE"  so it looked like:

UPDATE DECORATORS SET body='### ...code...code...code.' WHERE  DECORATORID=64913409

And the whole point being that I removed the "{html}<font size=\"4\">Space Quick Select</font>{html}" from the body code.

 

Finally, I put back the decorator:

mysql -uconfluence -p confluence < DECORATOR.sql

 

And started the Confluence Instance:

 

 - up and running again

 

 

Fetched from https://confluence.atlassian.com/display/DOC/Include+Page+Macro

 

#set ($qString = $req.getQueryString())
#set ($titleStart = $qString.indexOf("title=")+6)
#set ($nextAmpIndex = $qString.indexOf("&",$titleStart))
#if ($nextAmpIndex == -1)
#set ($titleEnd = $qString.length())
#else
#set ($titleEnd = $nextAmpIndex)
#end
#set ($reqTitle = $qString.substring($titleStart, $titleEnd))

 

Very nice for getting the params from a QueryString - I am thinking of making a "Show Image" page in the Mos-Eisley Gallery, using QueryString params

Philips TV - PVR Issue

For the last week or so, my PVR on a Philips 42PFL4007T has not worked - It just reported "The Philips server cant be located"...

Well, first of all, actually reading the manual I discover that Internet access is a requirement for using the PVR function, using the network (TV network) EPG is not supported....

So, everything is in the hands (as in mercy) of Phillips... secondly, a few Danish channels are not supported - DR3 - hence I cant record these correctly via EPG.

Well, getting pretty pissed and have tried changing network settings, I googled and found this : http://www.supportforum.philips.com/en/showthread.php?14165-phiilips-server-not-found-try-again-later

Looking into my TV's settings, Firmware version was 97 and latest on the Internet is 100 (http://www.p4c.philips.com/cgi-bin/cpindex.pl?ctn=42PFL4007T/12&hlt=Link_Software&mid=Link_Software&scy=DK&slg=DAN) - from Sep 2013 though...

Well, updating via the Internet - as supported by the TV menus - just states that "The TV is up to date".

So I downloaded the Firmware from the Internet and updated via USB:

No problem, but questions arise.....

  1. Why does nobody tell You (before purchase) that Internet Access is a PVR requirement (No Bilka, El-Giganten commercial states that)

  2. How well and how long will Philips update/support the "Philips Server" with EPG, plans, channels...

  3. Why the H*** does the built-in Internet update not work correctly (problably a Philips mis-configuration)....

 

 

Spamming my site

Almost every day I get spammed in the way that somebody - Anonymous - Creates a Comment on 1 of 2 different pages, with link to cars, medicin sa viagra etc...

Like this:

Using splunk, it seems that Attacks comes from many different hosts:

I could block it in my frontend apache, but that would problably be pointless. 

The Comment sections use captcha, so I guess the entry is indeed manually..

Next Gallery update

I am for sure thinking about making the Mos-Eisley Gallery multipaged, as the increasing number of images in Familiebilleder 2013 is still growing, making the page long and slow on load.

So I am thinking about making each direcoty entry a singular page under the main page. 

I am looking into using http://finnrudolph.de/ImageFlow

Actually, some other interesting stuff under http://finnrudolph.de/ and http://testground.finnrudolph.de/js/CanvasReflection/ also

Floatbox at Mos-Eisley

This week I implemented Floatbox - http://floatboxjs.com/ at Mos-Eisley.dk

Is far the best jquery Lightbox I have found, very agile, lots of features and very pleasent to watch unfold

So the Mos-Eisley Gallery is updated to support it, with User Macro: me-image - Image lightbox with Floatbox

Samples:

     

Viasat Play is in Town

Nu er der bestilt og igangsat 1 måneds prøveabbonement på Viasat Play, for at sammenligne det med NetFlix.

Umiddelbart er udvalget af film nyere, måske ikke større - men det er svært at overskue begge produkter.

Begge produkter har en PS3 klient og det fungerer egentlig ok, dog er Viasat Play klienten engang imellem meget underlig og vile ikke spole etc.

Viasat Play kræver at man har et PlayStation Plus abonnement, så der kommer lidt penge oveni, specielt fordi dette er bundet til en PlayStation Network account, som vi har 3 af, altså skal vi have 3 x PlayStation Plus også for at det virker på alle 3 Playstations...en klar svaghed ved Viasat Play på PS3

NetFlix is in Town

Og jeg er på NetFlix nu - første skuffelse er at mine Sony komponenter - 60" Bravia TV og BluRay ikke har klienten (endnu) - men da de er 2 år kommer den næppe.

Ungernes PS3 kører fint, vi har set Ghostbusters og Sherlock - næste skridt er AppleTV2...

Update 23-10-2012

Så fik AppleTV nyeste update på og NetFlix fungerer; men desværre røg XBMC jo så ud - så nu er det på med Seasonpass for at breake den igen, igen

 

Update 24-10-2012 

Så blev ATV2 jailbroken igen igår med Seasonpass som i Installation af XBMC på Apple TV2 uden problemer. XBMC kom også på, men kunne ikke ses fra Menuen

Så jeg må igen med at fejlsøge: http://forum.xbmc.org/showthread.php?tid=127378

 

Update 25-10-2012

Så virker det, installationsguiden er opdateres (smile)