Schlagwort-Archive: Hadoop

Apache Mesos is the new Shit

Na, Grossdaten-Fuzzi? Dann hier eine kurze Klickfru-Empfehlung, falls du noch auf dem oldskool Hadoop Trip bist. Denn die kuhlen Kids schauen sich Apache Mesos aus – und du kannst das auch.

Mesos ist ein Cluster-Manager, der dafür sorgt, dass du mehr aus dem Company-Blech herausholen kannst: Buzzwords Flexibilität und IT-Nachhaltigkeit. Was auch immer sich deine byteschubsenden Kollegen (Gruss!) vorstellen auf dem Cluster fahren zu wollen – mit Mesos soll das ganz einfach zu managen sein. Hadoop und Spark parallel, for sure. Und ausserdem ist irgendwie plötzlich alles ein Mesos-Framework: Spark (siehe zweite Internetz-Folie, auch so ein ganz heisser Scheiss, bitte @mikiobraun fragen) oder ganz schnöde Sachen wie Jenkins oder MySQL. Klingt gut? Ja.

Jetzt den Slideshare-Kram ankieken:

GeekAustin: What’s So Exciting About Mesos?

 

Getting Started Running Apache Spark on Apache Mesos

 

Und wer gerade keinen Rumspiel-Cluster zu Hause stehen hat, klickt hier. Eine Bude mit Geschäftsmodell Mesos as a service, und Probieren darf man auch mal: „Start using Apache Mesos“.

So, ich muss los – u.a. den Mesos-Layer in den Home-Cluster reinbasteln.

Merkzettelchen für die heimische Hadoop Installation

Es ist ja so: wenn die Hadoop-Installation zu Hause (Da entscheideste dich entweder für eine der Luschen-Distros Cloudera oder Hortonworks bzw. bist Held und nimmst dir direkt das bare Apache-Projekt vor.) dann endlich mal und Mensch es sich im #ichlassdasjetztso Modus gemütlich gemacht hat, wird gern vergessen, dass das nur die halbe Miete ist: das angepatschte Slideshare Dingsbums ist schnell durchgeklickt und erinnert an ganz doll sinnvolle post install Tasks:

Und apropos Hadoop Erklärkram – bin ich echt der Einzige, der den Mangel an nicht-offizieller Dokumentation anprangert? Ich habe jedenfalls den Eindruck. Wo sind all die hyppschen Hadoop- und related Blogs von echten Menschen für echte Menschen? Zu WordPress, GTD, Raspberry Pi und Netzpolitik schreibt doch auch gefühlt jeder was ins Internetz rein. Bitte macht da was!

 

innovate – don’t mimimi!

Achtung, ich leake jetzt Company related Zeug: Immer wenn der CEO mal im Berliner HQ zugegen ist, steckt er entweder in einem verschissenen Meeting oder aber er tippt was in seinen Medion-Klapprechner, um das Startup-eigene Internetz-Tagebuch zu befüllen. (Manchmal kommt er sogar mit Arduino-Bausatz an, dazu vielleicht andermal.) So jedenfalls auch heute geschehen. It goes about einen gemeinsamen Auftritt mit @flueke (kickert auf Sommerfesten) beim Deutschlandradio zum Thema Tracking. Contra so: ja, aber Datenschutz und Menschenwürde und überhaupt! vs. Pro so: innnovate – don’t mimimi! Aber ruhig mal anhören, ist durchaus machbar, denn quantitav keinesfells auf Pritlove-Podcast-Niveau. Und genau das bemängelte der Chef auch, und genau deshalb kritzelte er da eben heute im Brüo noch paar Ergänzungen ins Blog.

Neben der grundsätzlichen Schleimabsicht, die immer dann zu Recht zu vermuten ist, wenn ich freiwillig Arbeitgeber-Blog-Beiträgen erwähne, möchte ich ausserdem noch auf die schöne Formulierung “Demokratisierung der Produktionsmittel” hinweisen, als es um den Leatherman der Bigdata-Szene – nämlich um Hadoop – geht. Nur so. Lasst es einfach mal auf euch wirken. (Und bittet eure IT-Heinis, euch auf eurer Maschine doch mal ein Single-Node-Setup zu zaubern. Dann können wir nächstes mal an dieser Stelle weitergeeken – mapred-site.xml tauschen oder so.)


Das ist ein Plaste-Hadoop.


Mein erster privater Hadoop-Cluster von anno 2008 etwa.


primary namenode (li) und secondary namenode (re)

PS: Bitte keine technischen Rückfragen – ich hab doch auch nur eingeschränkt Ahnung, wovon ich hier überhaupt schreibe.

bigH0

Schreibe eine Antwort

Trainspotting ist euch ein Begriff? Wobei ich aber nicht das abgedrehte Filmepos mit dem BMW-Piloten McGregor meine, sonden das Hobby bzw. die Lebenseinstellung dieser Tüpen, die beispielsweise im Flurschrank 600 Mrd. Deutsche-Reichsbahn-Dias horten und dem 24-Stunden-Reporter vor die Kamera halten. (Vermutlich sind Airspotter die kuhlen Boys und Trainspotter die Nerds – bitte berichtigt mich, wenn ihr selbst diesbezüglich am Wochenende unterwegs seid.)

Jedenfalls schlägt in mir offenbar auch ein wenig die Trainspotter-Pumpe. Auf dem Weg ins Nougat-Kombinat schlendere ich verdächtig oft extra entspannt über die Brücke die deutsch-polnischen Freundschaft, um eine Lok-Kennung oder den Namen des vorbeischleichenden ICE zu erhaschen. Tweets diesbezüglich gab es ja auch schon. 

Und hier meine Vision: bigH0 – was mit big data und H0 Deutsche Reichsbahn Deutsche Bahn im Spotter-Kontext. Fragt jetzt nicht nach Details – aber sobald es den ersten Rails (Schiene, nicht Framework!) gefietscherten Hadoop Flavour gibt, kann ich loslegen und berichten. 

  • http://de.wikipedia.org/wiki/Long_Way_Round
  • http://www.airspotter.de/
  • http://de.wikipedia.org/wiki/Spotter#Eisenbahn
  • http://nugg.ad/
  • http://twitter.com/moellus/statuses/179098132842418176