München, Starnberg, 4. April 2014 – Hochleistungs-Medienplattform unterstützt tausende von Power-Usern mit Hilfe von SSD-Storage-Clustering und NexentaStor...
Zum Hintergrund: die in München ansässige picturemaxx AG entwickelt und lizenziert Media-Asset-Management-Lösungen und Enterprise-Content-Management-Module für die Marketingkommunikation, das Informationsmanagement und den professionellen Medienmarkt. Die unternehmenseigene High-end-Suchmaschine my-picturemaxx aggregiert die Portfolios vieler hundert Fotoagenturen, Medienportale und Archive aus aller Welt, so dass hierüber mehr als eine Milliarde gespeicherter Medien für die Recherche im Zugriff bereitgehalten werden. Hochkarätige Medien-Events, wie die Oscar-Verleihung, Fashion Weeks oder Olympia, lösen zusätzlich starke Lastspitzen aus. Dann werden innerhalb weniger Stunden bis zu 150.000 Fotos hochgeladen, jedes mindestens ein bis fünf Megabyte groß. Diese müssen schnellstens in den picturemaxx Mediendatenbanken gespeichert, verarbeitet, skaliert und gerendert werden, damit sie für die aktuellen Recherchen der Medienberichterstatter ad hoc zur Verfügung stehen.
- Mit Hilfe der Mediendatenbanken und der Infrastruktur von picturemaxx versorgen die Fotoagenturen den Bedarf an digitalen Inhalten von Tageszeitungen, Magazinen, Verlagshäusern und Unternehmen. Aktuelle wie auch kreative oder historische Bilder, Videos und Texte gelangen somit von den Erstellern zu den Nutzern.
Herausforderung aus IT-Infrastruktursicht
Herrr Christian Marnitz - CIO bei picturemaxx - beschreibt, welche Herausforderungen der Betrieb einer solchen Plattform mit sich bringt. Zitat: „picturemaxx ist schon seit gut drei Jahrzehnten in diesem Umfeld tätig. Wenn es darum geht, den Austausch von Bildern und anderer digitaler Inhalte zwischen zwei Parteien zu verstehen und zu verbessern, verfügen wir über unvergleichliches Know-how. Heute verarbeiten wir im Schnitt pro Tag mehr als 600.000 Dateien. Diese riesige Anzahl verlangt modernste Technologie auf allen Ebenen. Einer der wichtigsten Erfolgsfaktoren ist der Datenspeicher. Unser Markt ist hart umkämpft, das heißt, wir müssen unser System ständig verbessern, damit es effizient und kostengünstig bleibt.“
- Aus der Historie der Software-Entwicklung nutzte picturemaxx lange Zeit ein auf Linux basierendes, maßgeschneidertes Speichersystem, das alle Daten mit einfacher Master/Slave-Replikation speicherte. Allerdings war das System nicht hochverfügbar, was die Wartung und Skalierbarkeit naturgemäß erschwert hat.
- Mit dem steigenden Medienkonsum waren sowohl die Systemleistung als auch die Kapazitätsgrenzen ausgereizt. Mit dem Ziel, die Latenzzeiten zu verringern, nutzte picturemaxx zunächst NFS über Infiniband, was anfänglich auch Erfolge brachte. Das ungewöhnliche Setup führte jedoch zu neuen Problemen, da die Server wegen der limitierten Verkabelungsoptionen sehr nah beieinander stehen mussten.
Anwenderzitat: „Unsere Mediendatenbanken liegen genauso auf dem Speicher wie all unsere Applikationen für finanzielle Transaktionen, Medienrechte oder die Rechnungsstellung“ führt Marnitz aus. „Für unser Unternehmen ist es ein absolutes Muss daß alle Systeme rund um die Uhr und ohne Ausfall laufen. Wir haben deshalb ein Speichersystem mit professionellen Funktionen gesucht, wobei Hochverfügbarkeit ganz oben auf der Liste stand, um unseren Kunden an die 100 Prozent Verfügbarkeit garantieren zu können. Gleichzeitig brauchten wir jedoch auch mehr Kapazität und Geschwindigkeit für ein neues, an Großunternehmen gerichtetes Produkt, für das wir den Launch vorbereiteten.“
- Als ersten Schritt zur Ablösung des auf Linux aufbauenden NAS durch ein neues System haben die Verantwortlichen bei picturemaxx ihren langjährigen Partner Exus Technologies ins Boot geholt. Oliver Flathmann, Chief Production Officer bei Exus Technologies, erklärt die Herausforderung: „picturemaxx hat einen sehr spezifischen Bedarf. Dies liegt daran, dass das Unternehmen mit seinem einzigartigen System tagtäglich einen astronomisch hohen Datenumsatz bearbeiten muss. Hochverfügbarkei war dabei nur ein Faktor, wenn auch der wichtigste. Hohe Leistungsfähigkeit und moderne Speicherfunktionen, wie unlimitierte Snapshots, zählten schnell zu den weiteren benötigten Funktionen...".
- Nachdem der immer weiter steigende Speicherbedarf und SSD-Clustering in der Planung berücksichtigt werden musste, wurde Nexenta (ZFS basierte Storage Software) als die hierfür geeignetste Speicherlösung ausgewählt.
Projektbeschreibung
Das Projekt wurde in zwei Phasen unterteilt, um insgesamt sechs Cluster einzurichten.
- In der ersten Phase wurden drei HDD-Cluster als Primärspeicher für alle Up- und Downloads von Medien und die Citrix Cloud-Plattform von picturemaxx eingerichtet. Dieses Design hat den Vorteil, dass es einfacher zu skalieren ist und die Gesamtleistung von drei Clustern größer ist, als nur ein einzelner hochskalierter Cluster. Jeder Cluster beherbergt 180 x 2.0 TB Nearline SAS-Drives. Das gibt jedem Cluster eine Kapazität von 360 TB und der gesamten HDD-Installation eine Gesamtkapazität von 1080 TB. Um die Durchsatzleistung der einzelnen 6 Gb/s Head-Nodes noch weiter zu erhöhen, wurden 8 GB Zeus RAM SAS-Buffer des SSD und DRAM-Anbieters STEC in Betrieb genommen.
- In der zweiten Phase wurden drei reine SSD-Cluster installiert, die als Host für die Business Intelligent Storage Applications von picturemaxx wie ERP, CRM, E-Commerce und Search-Index fungieren. Den Bedarf für diese zweite, komplett mit schnellen SSDs bestückte Installation begründet CIO Marnitz wie folgt: „Wir mussten unsere Medienplattform für tausende von einzelnen Power-Usern fit machen. Großunternehmen mit vielen Tochterfirmen in den Branchen Medien, Marketing und anderen Dienstleistungen benötigen sehr viel digitalen Content für Webseiten und zahlreiche andere Produkte. Solche Kunden haben jeweils ein ganz individuelles Anforderungsprofil aus vielen Bedürfnissen. Wir benötigen ein außerordentlich schnelles System, auf dem wir diese neue Plattform in Echtzeit laufen lassen können.“
Die SSD-Cluster wurden optimiert, Daten bei geringster Latenz zu lesen. Die Head-Nodes der SSD-Cluster wurden mit SSDs und DRAM-Komponenten von STEC bestückt, da diese robusten Module ebenfalls eine extrem geringe Latenz erlauben. Der Cluster ist damit sehr leistungsstark. Er reduziert die „I/O-Wait-time“ - also die Zeitdauer, in welcher der Prozessor auf Daten des langsameren Speichers wartet, auf ein Minimum. Alle Cluster bestehen aus 20 x 400 GB SSDs mit einer Gesamtkapazität von 12 TB schnellem Flashspeicher.
- Das gesamte Speichersystem mit sechs Clustern bietet in der aktuellen Ausbaustufe über ein Petabyte an Speicher. Um den Storage nicht auszubremsen, wählte picturemaxx außerdem einen neuen Netzwerkpartner. Alle Cluster wurden mit active-active 10 Gbit Netzwerklösungen von Arista Networks und Chelsio Communications vernetzt.
- Das rein Software-definierte Setup ist laut Betreiber in Bezug auf die Latenz auf allen Clustern deutlich niedriger als die bisher genutzte Infiniband-Lösung.
Abb: Storage Rack, Bildquelle: picturemaxx, 3/2014
Fazit aus Betreibersicht
Die Wahl von Nexenta ermöglichte es der picturemaxx AG, die richtige Lösung für ihre Anforderungen hinsichtlich Leistung, Latenz und Hochverfügbarkeit zu implementieren - und dies ohne Herstellerbindung. „Uns an einen der großen Hersteller zu binden, wäre nicht der richtige Weg für uns gewesen. Das Geschäftsmodell dieser Hersteller passt nicht zu uns, da wir genau planen müssen, was wir für Speicher budgetieren können“, sagt CIO Marnitz. „Ein weiterer Pluspunkt war der persönliche Support von Nexenta. Wir haben einen Partner gefunden, der versteht, wie besonders unser System ist und der uns flexiblere Lösungen anbieten kann als andere Hersteller mit starren Produkt-Roadmaps.“ Das neue System ist ferner in punkto Energieverbrauch sehr sparsam; durch die eingesparte Energie kann sich das System aus Betreibersicht in wenigen Jahren komplett amortisieren.
Abb. 2: Christian Marnitz, CIO picturemaxx AG, München