Wie hackt Facebook zusammen eine bessere Rechenzentrum

Rechenzentren sind langweilig. Sie müssen sein; Dies sind Räume der Kontrolle, Konsistenz, Sicherheit. Sie würde nicht erwarten, viel Kreativität in die schlichten Fassaden dieser stark regulierten Strukturen zu finden – viel weniger gehackt zusammen-Experimente mit Roboter-Blu-Ray-Storage-Systeme und Tausende von Mac Minis.

Aber in diese scheinbar langweiligen Gebäude gibt es eine Branche boomt mit Veränderung und experimentieren, vor allem dank des exponentiellen Wachstums von Daten, die wir in unserem Leben zu produzieren. Rechenzentren sind wie die Explosion der Technologie, die die Installation von Abwasser-Systemen im 19. Jahrhundert Städte umgeben, eine weitgehend unsichtbar Infrastruktur, die dennoch ist unbedingt erforderlich, die Art, wie, die wir heute leben, genauso wie die Rohre, die unseren Müll weg von unserer wachsenden Städte pendelte vor zwei Jahrhunderten waren.

Überschattet von Facebook Nutzer gerichteten Initiativen – wie seine neue aus unerklärlichen Gründen-namens live zeigen, FaceCast oder die Multiplikation Stand-alone-Anwendungen wie Gruppen-gibt es die riesige Seite des Unternehmens arbeiten an der Infrastruktur und Systeme, die die Website macht.

Teils wegen des Ausmaßes ihrer Tätigkeit – seinen 864 Millionen täglichen aktiven Nutzern erstellen Petabyte auf Petabyte an Daten – Facebook in technischen Probleme ihrer Storage Center gegraben hat. Und diese Zahl wächst, wird Facebook hetzen, um die physische Infrastruktur effizient tun musste, zu bauen. Hat, stellte das Unternehmen Architekten Ikea inspirierten Rechenzentren zu entwerfen, die kostengünstiger, schneller und effizienter als andere Gebäude montiert werden kann, und es kauft Windparks um diese Gebäude zu versorgen.

Dann gibt es die Maschinen in den Gebäuden. Dies ist das Nervensystem der zweiten die meisten Opfer Website im Internet (nach Google), die Bit-basierte Neuronen, die das gesamte System stabil und sicher zu halten. Diese Maschinen sind wohl der wichtigste Teil des gesamten Vorgangs, und wo ist Facebook die Norm Ruckeln. Es ist Verzicht auf Standardhardware und selbst diese Maschinen zu bauen, und es macht alle Arbeit-open-Source.

Facebooks mad Hardware Wissenschaftler

Im Gegensatz zu vielen Unternehmen läuft Facebook eigenen Rechenzentren. So hat es eine unglaubliche Menge an Spielraum zum Experimentieren mit wie sein Nervensystem konzipiert ist. Diese Aufgabe fällt auf Facebook Director of Hardware Engineering, Matt Corddry, das Team führt, das in Rechenzentren Facebooks verwendete Hardware erstellt.

Corddry und sein Team stellen Sie sicher das Nervensystem läuft reibungslos, aber auch Kern Probleme mit Daten center Design und neues ausprobieren, und manchmal recht bizarre Lösungen anschauen. Bewaffnet mit einem Fertigung Labor auf dem Facebook-Campus, bestückt mit allem, was aus Blech Biegemaschinen an 3D-Drucker auf endlose Lieferungen von Balsaholz für Modelle, ist die Gruppe in der Lage zu hacken zusammen Prototypen ihrer Ideen und Tauchen Sie ein in die kleinsten oder größten Design-Fragen innerhalb des Rechenzentrums.

Cold Storage-Festplatten Facebooks Prineville, Oregon, Data Center.

Als eine Festplatte Lagerregal zu groß für die Arbeitnehmer leicht zugänglich erwies, vorgeschlagen einer Corddry Ingenieure eine aufklappbare Rack inspiriert von einem Garagentoröffner, die er vor kurzem gesehen hatte, Bau eines Vorhang-Scharnier-Prototyps im Hardware-Labor, das Arbeiter, die die höchsten Racks für einfachen Zugang zu schwingen zu lassen.

Um die Infrastruktur zu entwickeln und Testen Facebooks iOS app erstellen, kaufte das Team Tausende von Mac Minis – die resultierende Bibliothek des Minis ist nun ein bekanntes Projekt für seinen Gebrauch von Apple Standardhardware, eine Seltenheit in Rechenzentrumsplanung oder Software-Engineering.

Tausende von Mac Minis bei Facebook Forest City, North Carolina, Data center.

"Ich glaube wirklich, du musst abstreifen alle Ebenen der Abstraktion zwischen dem Ingenieur und die Möglichkeit oder das Problem, das sie zu lösen sind," erzählte Corddry mir auf den letzten Anruf. Das bedeutet, dass jedes Teammitglied in das Rechenzentrum Wartungsarbeiten Reparatur, Lebenserfahrungen, Studium der Supply Chain, und Hersteller von Daten-Center-Hardware in Asien zu besuchen. Es bedeutet auch eine enge Zusammenarbeit mit den Softwareentwicklern, da Corddry sagt, dass die beiden Seiten, hart und weich, oft in einem Vakuum existieren, bis "Sie zusammen zerdrücken und hoffe, dass es funktioniert."

Speicher für das Ende der Welt (oder 20 Jahren, was zuerst eintritt)

Wenn Sie bei Facebook angemeldet sind, stehen die Chancen gut, dass Sie Fotos auf die Website hochgeladen haben. Aber das bedeutet nicht, dass Sie tatsächlich sehr oft anschauen. Mehr als 80 Prozent der Facebook Verkehr kommt von lediglich 8 Prozent des Fotos auf der Website – diese "heiße" Fotos, meist noch den letzten Uploads immer Ansichten. Aber die meisten Facebook 240 Milliarden Fotos sind "kalt" selten zugegriffen, aber immer noch in der Notwendigkeit der Lagerung.

Heiße Fotos werden auf Gestellen Festplatten gespeichert, aus denen sich die herkömmlichen Hardware in einem Rechenzentrum. Aber was ist mit den kalten Fotos? Die Bilder, die niemand in Jahren zugegriffen hat? Facebook muss noch zu archivieren – es ist ein Teil des Dienstes bietet – aber es gibt keinen Grund, halten sie auf Festplatte Racks, die teurer zu kühlen und zu pflegen als andere Formen der Lagerung. Corddry und sein Team hatte eine andere Idee: Warum nicht erstellen Sie eine Hierarchie von Storage-Systemen, die "kalte" Fotos auf billiger, einfacher Hardware als die heißen Fotos halten könnte?

Facebooks neue Luleå Data Center in Schweden.

Normalen Kühllagerung löst Magnetband: viele andere Unternehmen speichern ihre archivierten Daten auf Band, deren Datendichte nimmt immer zu. Aber Corddry Band beschreibt, als eine "operativ hässliche Ding," und schwierig zu Facebooks vier Rechenzentren skalieren. Er soll um einem anderen Speichersystem für die 92 Prozent der Fotos zu finden, die oft nicht das Licht des Tages sehen, und war überrascht zu erfahren, gibt es ein wachsendes Interesse an Blu-Ray-Discs als Archivierung.

Auch wenn Blu-Ray für die Verbraucher genau zur falschen Zeit ankamen, es ist immer noch eine nützliche und leistungsfähige Technologie: die Scheiben Schwankungen in Temperatur und Feuchtigkeit besser als empfindlich Festplatten, zum Beispiel zu widerstehen, und sind oft für 50 Jahre Lagerung bewertet. Es fasziniert Corddry, und das Team bei Facebook begann schaute auf ihre kalten Fotos auf Blu-Ray speichern. Sie eine Partnerschaft mit Robotertechnik Unternehmen, das ihnen geholfen bauen ein Gestell, das Speichern und zugreifen auf Stapel von Hunderten von Disks mit einem Roboterarm konnte, und arbeitete, die Zahlen für was so eine Rack zum Betrieb Kosten würde.

Der Blu-Ray-Speicher-Prototyp in Aktion.

Ihre Blu-Ray ist nicht nur 50 Prozent günstiger – es nutzt 80 Prozent weniger Strom und ist widerstandsfähiger als Festplatten. Darüber hinaus ist es sicherer auf konzeptioneller Weise. "Von einem Punkt des Preises ist es eine sehr überzeugende Technologie, aber es ist auch wirklich schön aus Sicht der Vielfalt", sagt Corddry. Vielfalt bezieht sich auf wie viele verschiedene Speichersysteme ein Unternehmen nutzt – wenn man einen Fehler hat oder Absturz landet, es hilft, eine völlig unterschiedliche-System in den Startlöchern.

Zu mir: 50 Jahre scheint nicht so lange. Planen sollte nicht Facebook seit Jahrhunderten? Wie Corddry erklärte, dass der Ansatz nur aus wirtschaftlicher Sicht nicht sinnvoll – oder eine technologische. "Wir müssen sehr langfristig denken in Bezug auf die Haltbarkeit geben wir an unsere Kunden," sagt er. "Das heißt, dass Technologie Lebensdauer im Vergleich zu der Datenspeicherung sind zwei verschiedene Dinge."

Ein Blu-Ray-Disc und fahren, Bestandteil der Kühllagerung Prototyp.

In anderen Worten, in zehn Jahren Lagerung wird Technologie so viel verbessert haben, dass es das Team gehackt zusammen-Blu-Ray-Apparat, sinnvoll wird nicht auch wenn es ein großartiges System heute.

Die langfristige Lagerung-Rätsel

Das trifft den Kern des Rätsels Auseinandersetzung mit Facebook und viele andere Internet-Giganten: die Daten, die wir erzeugen steigt exponentiell. Zur gleichen Zeit werden die Systeme, die diese Daten speichern kann eine beschleunigende Tempo weiterentwickelt. Angesichts der Notwendigkeit der Planung einer realen Infrastruktur für all diese Daten, diese Unternehmen müssen sorgfältig auswählen, ihre Speichersysteme Balance zwischen Kosten und Langlebigkeit mit Blick auf, was ihren Gestellen in nur wenigen Jahren ersetzen könnte.

In diesem Licht beginnen Corddry und sein Team zu fühlen viel wichtiger als "die Jungs, die die Hardware für Rechenzentren machen." Mit Petabyte auf Petabyte an Daten zu speichern werden kleine Entscheidungen über Hardware massive Schulden, was erklärt, warum sein Team von Supply Chain Analyse, 3D-Druck alles macht. "Technologie verbessert so viel jährlich oft nicht kostengünstig zu Gang laufen mehr als 10 oder 20 Jahren Tops ist," sagt er. "Nur weil es so veraltet, im Vergleich zu dem, was wir auf dem Markt zur Zeit zu kaufen sein wird."

Ein Beispiel für diese Denkweise ist Facebooks Rechenzentren bereits die treibende Kraft: nach ein vertieftes Studium der wie Lithium-Ionen-Batterien in Elektroautos im letzten Jahrzehnt, darunter Reisen zu Batterie Fabriken und jede Menge Chemie, entwickelt haben das Team entschieden, die kleineren, leichteren, aber teureren Batterien als Alternative zu den großen Blei Säure Autobatterien zu versuchen, die normalerweise die Servern halten. Obwohl Data Center lange Lithium-Ionen-Batterien als zu teuer gemieden haben, fanden sie, dass auf der Skala von Facebook, es eigentlich die günstigere Variante, war weil es den Bedarf an Kabinettspeicher und andere Infrastruktur für die Autobatterien reduziert.

Also, anstatt auf die Verschiebungen in der Speichertechnologie reagieren, wenn sie passieren, Facebook nimmt eine aktive Rolle bei der Entwicklung dieser Technologie, die das Hardware-Team in Hybrid-Markt-Analysten und Ingenieure macht. Die Arbeit, die sie heute tun könnten nicht einmal in zehn Jahren technologisch relevant sein – aber wenn Ihre Fotos noch etwa bis zum Jahr 2025 sind, müssen Sie ihnen verdanken.

Lead-Bild: Reihen von Servern im Rechenzentrum Prineville, Oregon, über Facebook.