We wanted to speed up our web-applications by alleviating our database-loads. So we decided to use the distributed memory object caching system, memcached. Due to the many requests of our memcached-systems (about 1.5 million requests per second), we built a tool (called mckoy), which is capable to perform statistics and debugging information about all memcache-requests in our network.

mckoy is a memcache protocol sniffer (based on pcap library) and statistics builder. It automatically detects and parses each key (and its value) and memcache-api methods.  At  the  end of the sniffing session, the results are used to build the statisticis. mckoy was written to analyse our web application and its usage of  memcache-api in PHP. For example: We wanted to know how many set() and get() methods were invoked in a given time. Based on these results,  we had to make changes to improve the usage of memcache-api for PHP. You can run mckoy on any UNIX based systems. It was tested on many *BSD and Linux systems. mckoy is licensed under GPLv3 and completely published as opensource project!

You can run mckoy in various modes (see manpage!). For example, if you want to sniff pattern “foobar” for all memcache-api methods and with live capturing, use:

mckoy -i <interface> -e “port 11211″ -m 5 -k foobar -v

And this is, how it looks like:

Unfortunately, there are some known bugs. :) For example: An SIGSEGV will encounter when ^C is sent from user. Also, we noticed that mckoy isn’t able to handle memcached-1.2.8 <= 1.4.* correctly. These bugs will be fixed in the next version as soon as possible! For the next version I also planned to build in udp and binary support.

You can offcially download mckoy from:
http://www.lamergarten.de/releases.html
or
http://sourceforge.net/projects/mckoy/

cheers.

Der typische Entwickler-Arbeitsplatz bei uns hat 2x 24-Zoll-Monitore. Viele sind Dell 2408WFP. Einige Leute sind auch mit Notebooks ausgestattet. Und wieder andere haben neben einem 24er- einen 17-Zöller stehen.

Alle Bildschirme der Entwicklungsabteilung (inkl. System Operations) zusammen genommen kommt man auf

202 Megapixel (Mpx)

Das sind ziemlich exakt so viele Pixel wie die HIPerWall an der UC Irvine. Wobei die dort 30-Zoll-Geräte nutzen und somit für die selben Mpx weniger Monitore brauchen.

Wenn man unsere 202 Megapixel auf eine Bildschirmwand im Seitenverhältnis 16:10 verteilen würde, hätte man eine Monitor-Einheit von 18.000 x 11.250 px. Mit den bei 24-Zöllern üblichen 94 PPI wäre das eine Fläche von etwa 191 Zoll x 119 Zoll. Das entspricht

4,8m x 3,0m

In dieser Rechnung sind noch nicht die vielen Leute mit Geräten dabei, die bei studiVZ in anderen Bereichen arbeiten. Da gibt es u.a. noch Marketing, Sales und vor allem den großen Support.

Und das hier sind noch zwei Schnappschüsse aus dem Maschinenraum. Die Büros und die Backfabrik stellen wir bestimmt später nochmal etwas genauer vor.

Wenn man auf Wikipedia nach Gerbil sucht, trifft man als erstes auf folgenden Satz:

“Die Rennmäuse (Gerbillinae) bilden eine Unterfamilie der Langschwanzmäuse und bewohnen die Wüsten, Halbwüsten, Steppen und Savannen Afrikas und Asiens.” [Quelle: Wikipedia]

Das ist sogar fast richtig – aber eben nur fast, denn auch in der studiVZ-Entwicklungsabteilung leben zwei Exemplare dieser putzigen Tierart, die seit nunmehr fast 2 Jahren hier tapfer die Stellung halten. Im kalten Frühjahr 2007 wurde nach einer denkwürdigen Mittagspause die Entscheidung getroffen, dass doch ein Haustier, oder genauer gesagt ein Firmentier, genau das richtige für uns wäre. Der Hamster war quasi schon ausgesucht und freute sich schon aus seinem stickigen Zoohandlungskäfig in eine bessere Zukunft entlassen zu werden. Tragischerweise (für den Hamster) befanden sich genau unter seinem Käfig die beiden Jungs, die bis heute bei uns ihr Unwesen treiben und sie passten einfach perfekt. Also Hamster wieder rein und Rennmäuse raus, denn zu zweit ist es natürlich auch für die Tierchen schöner. Außerdem stinken Mäuse weniger als Hamster, was ja in einem Großraumbüro ein nicht zu unterschätzender Faktor ist. Der Käfig war auch schon am Start und es ging geradewegs zurück in die Saarbrücker Straße.

Tja und seit dem leben die Beiden hier und hören auf die Namen V (der Hellere) und Z. Und da unsere Entwickler (und auch der Rest der Firma) sehr tierlieb sind, werden die Kleinen auch stets gehegt und gepflegt. Und vor allem auch eifrig gefüttert, was den Beiden eine leicht tischtennisballartige Figur verschafft hat. Dieser Entwicklung versuche ich als hauptverantwortlicher Pfleger durch eine gezielte Diät und mehr Sport Einhalt zu gebieten. Der Tagesablauf gibt außer schlafen, fressen, graben und nichtstun nämlich oft nicht so viel her. Auch wenn ich fest überzeugt bin, dass der Plan für die Weltherrschaft irgendwo in ihrem Micespace verborgen liegt. Achso: “Micespace” ist der offizielle Name für ihr Domizil, dass sich mittlerweile in der 3. Reinkarnation befindet. Angefangen hat es mit einem kleinen Plastikgehege über einen vierstöckigen Plattenbaukäfig bis hin zu ihrem heutigen Luxus-Glas-Terrarium-Prenzlberg-Loft.

Da die Lebenserwartung von solchen Tieren bei bis zu 5 Jahren liegt, haben sie auch genügend Zeit um sich ihren Traum von einer eigenen Yacht zu erfüllen und durch die Karibik zu schippern. Bei dem ganzen Know-How, das sie hier aufsaugen, dürfte das auch kein Problem werden. Als kleines Schmankerl gibt es unten ein kleines “Unplugged-Video” aus dem täglichen Wahnsinn im Mäusekäfig (übrigens noch ein altes Video mit der Version 1.0 des Käfigs).

Vor Kurzem war unser Operations Team zu einem Workshop in unserem Rechenzentrum bei Telefónica o2 Germany, in dem unsere Server stehen, zu Besuch. Nach drei Stunden Fahrt mit der Deutschen Bahn (6 Uhr aufstehen ist wirklich das Schlimmste was es gibt), sind wir sogar pünktlich angekommen.

In Gütersloh bzw. Verl angekommen, ging es auch gleich mit dem vollen Programm los. Besichtigung der zentralen Stromeinspeisung (ein Ring mit 8 Megawatt Leistung), Spannungswandler bei denen die Kupferleiter fast dicker als mancher Arm sind, riesige Dieselaggregate, Batterien für die Überbrückung bis die Generatoren anlaufen. Angeblich dauert es auch nur 30 Sekunden bis alle Generatoren auf der gleichen Phase laufen und die Spannung umgeschalten wird.

Dann ging es weiter unter die Erde, hunderte lärmende Server, Storage-Systeme, Lastverteiler und tausende Kabel. Bei der Ordnung wünscht man sich, das hinter dem heimischen Schreibtisch die gleiche Ordnung bei den Kabeln herrscht, aber das bleibt wohl bis in alle Ewigkeit ein Wunschtraum.

Außerdem haben wir dort noch ein paar Schränke voll mit Festplatten, die vor allem die Fotos speichern und ausliefern (das folgende Foto ist ein rekursives Foto, denn es enthält sich selbst). Das ist schon ziemlich beeindruckend, wie die Lichter an den Platten blinken, weil draußen tausende Leute Bilder anschauen. Normalerweise sehen wir nur die Zahlen auf dem Bildschirm. Aber kubikmeterweise Technik, die riesig Lärm und Abwärme produziert, zeigt noch viel deutlicher, dass auf den Plattformen einiges los ist.

Wir haben das Gebäude nicht verlassen, ohne einen “Gruschel mich!”-Aufkleber auf eine Blende in einem Rack zu kleben. So sehen nun auch andere RZ-Besucher, dass wir da waren.