Stuttgart-Ehningen, Starnberg, 11. Mai 2015 – DKRZ nutzt HPSS Lösung mit IBM für das größte Klimasimulationsdaten-Archiv weltweit; in Zukunft bis zu 500 Petabyte möglich...
Zum Hintergrund: Derzeit enthalten die Bandbibliotheken am DKRZ ein Datenvolumen von etwa 40 Petabyte, verteilt auf 20 Millionen Dateien. Um die Daten effizient verwalten und Forschern Zugang geben zu können, hat sich das DKRZ für die von IBM und dem U.S. Department of Energy entwickelte Software-Lösung High Performance Storage System (HPSS) entschieden (siehe auch Datenblatt/Link am Textende). Unterstützt von IBM Services kann diese Lösung nach Anbieterinformationen mehr als 500 Petabyte Daten verarbeiten. Das neue System verwaltet die gesamten am DKRZ gespeicherten Simulationsdaten und fungiert als zentrale Ein- und Ausgabeschnittstelle des Magnetbandarchivs. Dafür erfolgte die Migration der Daten des DKRZ auf die neuesten x86-Server mit dem Betriebssystem Linux von Red Hat und der HPSS-Software; der HPSS-Festplattencache umfasst ca. fünf Petabyte.
Die Datenmigration auf das neue Release von HPSS konnte in weniger als zwei Tagen durch den Hersteller abgeschlossen werden. Das neue hierarchische Speichermanagementsystem (HSM-System) liefert einen höheren aggregierten Durchsatz, sodass die Klimadaten mit bis zu 12 Gigabyte pro Sekunde zwischen Hochleistungsrechner und Archivsystem fließen können. Bis Herbst dieses Jahres erfolgt ein weiterer Ausbau, der dann einen Gesamtdurchsatz von bis zu 18 Gigabyte pro Sekunde ermöglichen kann.
-
HPSS soll in der Lage sein, innerhalb der nächsten fünf Jahre das erwartete massive Datenwachstum in der Klimaforschung mit einer geschätzten jährlichen Datenproduktion von etwa 75 Petabyte und einem Gesamtvolumen von fast 500 Petabyte zu bewältigen – passend zur erwarteten Steigerung der Datenproduktion durch das neue Hochleistungsrechnersystem für Erdsystemforschung 3 (HLRE-3), das momentan am DKRZ installiert wird.
-
HPSS wird für sehr große wissenschaftliche Datenarchive an Forschungseinrichtungen und Universitäten, für digitale Bildbibliotheken, für Wettervorhersagesysteme sowie in den Bereichen Verteidigung und nationale Sicherheit eingesetzt. Weltweit nutzen Organisationen mit rechen- und datenintensiver Datenverarbeitung HPSS. In Europa und Deutschland sind das u.a. das European Centre for Medium Range Weather Forecasts (ECMWF), das Karlsruher Institut für Technologie (KIT), der Deutsche Wetterdienst (DWD) und das Rechenzentrum Garching der Max-Planck-Gesellschaft (RZG).
Die High-Performance-Lösung ist das Ergebnis einer 20-jährigen Zusammenarbeit von IBM und den fünf nationalen US-Laboratorien des Department of Energy (DOE): Lawrence Berkeley, Lawrence Livermore, Los Alamos, Oak Ridge und Sandia.
http://www.hpss-collaboration.org/
Abb. 1: Bildrechte DKRZ / German Climate Computer Center, All Rights Reserved, Link to Licence Agreement
| Anhang | Größe |
|---|---|
 disc enclosures In the High Performance Storage System IBM at DKRZ | 82.83 KB |
 IBM HPSS Brochure (US) Übersicht | 242.33 KB |
