München, Starnberg, 20. Jan. 2016 – Transparente, offene Filesystem-Archivierung mit Hilfe von automatisiertem Storage Tiering, HSM...
Zum Hintergrund: deutlich mehr Unternehmen und Organisationen verfügen über immer größere Datenmengen, stehen jedoch vor der Frage, wie sie diese kosteneffektiv und ressourcenschonend weiterverarbeiten sollen. Ein anschauliches Beispiel sind Wetterdienste: Sie sind stets darauf angewiesen, ihre Wetter- und Klimamodellierung durch die Sammlung und Archivierung vieler verschiedener Datensätze besser und genauer zu machen. Weil auch die Komplexität dieser Modelle zunimmt, werden die Datenmengen, die es zu analysieren gilt, immer größer: viele Wetterdienst-Zentren mit numerischen Wettermodellen besitzen bereits jetzt zwischen zehn und 100 Petabytes an Daten und sehen sich dabei mit jährlichen Wachstumsraten von über 40% konfrontiert.
- Vor diesem Hintergrund benötigen Forscher aber auch zunehmend Unternehmen eine leistungsfähige Archivierungslösung, mit der Daten leicht abgerufen, analysiert und gespeichert werden können.
- Herkömmliche Archivierungslösungen haben sich in diesen Größenordnungen meist nicht bewährt: Proprietäre Hardware beeinträchtigt die Datenbewegung, die Skalierbarkeit bei stark steigende Datenmengen ist oft unzureichend und die Integration in existierende Prozesse / Arbeitsabläufe erfordert teure Support-Services.
Historisch gesehen haben gerade Wetterzentren eine Vielzahl von Speichertechnologien für Online- und Archivspeicher verwendet. Dies bedingte oft die manuelle Konstruktion aufwendiger Prozesse, um Daten von einem Ort zum anderen und zurück zu bewegen. Mangels besserer Alternativen mussten sich Organisationen also auf Prozesse und Produkte verlassen, die kaum zweckmäßig waren. Storage - und zwar sowohl Onlinespeicher als auch Archive – als ein einheitliches Systems zu konzipieren, verlangt nach flexiblen und intelligenten Softwarelösungen.
Kombination von Fast Disk und Bandspeicher
Diese "Intelligenz" lässt sich mit einem hierarchischen Speichersystem (Hierarchical Storage Management, HSM) erreichen, das schnelle Festplatten und ökonomische Bandspeichertechnologie mittels transparentem Dateisystem zusammenfügt. Damit wird die Komplexität reduziert, Energie gespart und die Nutzer selbst entlastet. Diese können zwar alle Dateien ihrer Datensammlungen sehen und darauf zugreifen, aber nur die Dateien, die tatsächlich in Gebrauch sind, werden auf schnellen Festplatten gespeichert. Wird ein Datensatz nicht mehr verwendet, wird er automatisch in den Bandspeicher migriert, bis er wieder gebraucht wird (HSM-Funktion).
- Proprietäre Archivierungssysteme haben die Tendenz, Daten in interne Formate zu verpacken, wodurch diese zukünftig nur schwer abgerufen werden können. Offene Archivierungssysteme wie Tiered Adaptive Storage (TAS) von Cray® hingegen speichern die Archive in dokumentierten Formaten, die auch in einer künftigen Umgebung abrufbar sind.
- Dabei wird gerne übersehen, dass auf Grund der steigenden Festplatten-Archivkapazitäten größere Anlagen deutlich mehr Leistung und Kühlkapazität erfordern. Archive in kompakten, "grünen" Bandspeichern können helfen, diese Belastungen / Kosten zu reduzieren..
Nun ist es nicht damit getan, Datensätze auf einem Bandspeicher abzulegen. Damit Daten effektiv genutzt werden können, müssen sie für die Compute-Infrastruktur zugänglich sein. Oft wird Scripting verwendet, um groß angelegte Kopiervorgänge von einem Archiv auf einen Online-Speicher zu orchestrieren. Durch den Einsatz einer modernen, offenen Archivierungslösung wie TAS dagegen werden den Nutzern alle Dateien - aktive oder im Archiv abgelegte - als einzelnes Dateisystem präsentiert. TAS (basierend auf Versity = open SAM-QFS / purpose-build enterprise linux) hat zudem den Vorteil, in Hochleistungs-Lustre®-Speicher integriert werden zu können, sodass Daten vom schnellsten zum langsamsten Speicher bewegt werden können, ohne dass die Systemadministration manuell eingreifen muss.
Fazit: indem alle Wetter- und Klimadaten, einschließlich der riesigen Archive, in einem offenen Archievierungssystem wie z.B. von Cray verwaltet werden, können Wetter- und Klimaerforschungszentren bessere Forschungsergebnisse erzielen, Modelle verfeinern und gleichzeitig die Bedienung ihrer Anlagen vereinfachen.
Abb. 1: Bildquelle Cray Tiered Adaptive Storage, Übersicht