Starnberg, 20. Juni 2012 – Big Data Storage Herausforderungen in der wissenschaftliche Forschung - Rapide steigende Anforderungen durch die weltweite Klima-Modellierung…
Zum Hintergrund: Das Rutherford Appleton Laboratory (RAL) ist eine wichtige britische Forschungseinrichtungen und Teil des Science and Technology Facilities Council (STFC). Unterstützt werden dort Forschungsprojekte in den Bereichen von Astronomie, Astrophysik, Biologie, Klimamodellierung, Informatik, Energie- und Medizintechnik, Atomwissenschaften, Teilchenphysik etc. Jedes Jahr nutzen laut RAL etwa 10.000 Wissenschaftler und Ingenieure die Hochleistungscomputer des Instituts zur Grundlagenforschung in datenorientierten Fachgebieten > http://www.stfc.ac.uk/About+STFC/51.aspx
Projekt-Hintergrund: Die Forscher im RAL wussten, dass die voraussichtliche Zunahme an Daten trotz des immensen Umfangs ihres anfänglichen Speichereinsatzes entsprechende hohe Skalierungsfähigkeiten erfordern würde, vor allem wenn man alle prognostizierten Kapazitäts- und Leistungsanforderungen voll erfüllen wollte.
Randbedingungen bei der Beschaffung: Niedrige Kosten pro Terabyte; hohe Skalierbarkeit, einfache Integration und Verwaltung. Die Lösung für das RAL lautete: Panasas ActiveStor NAS-Systeme inklisive integriertem PanFSTM Parallel-Filesystem. Das Klimaforscher-Team hatte hierzu e-Infrastruktur-Beihilfen in Höhe von 145 Millionen Pfund vom britischen Ministerium für Unternehmensinnovation und berufliche Qualifizierung erhalten. Zweck war die Beschaffung eines Hochleistungs-Datenspeichers mit annähernd acht Petabyte Kapazität für die Erweiterung geplanter Forschungsarbeiten.
Das Team unter Führung von Dr. Bryan Lawrence, Professor für Wetter- und Klimaberechnungen an der Universität Reading und Direktor für Berechnungsmodelle und -Daten am Nationalen Zentrum für Atmosphärenforschung (NCAS) beschloss deshalb, das genannte DAS-Speichersystem durch ein neues, vernetztes SAN Hochleistungs - Speichersystem - optimiert für den HPC-Bereich - zu ersetzen. Das parallele Filesystem spielte dabei eine entscheidende Rolle, will man sowohl Skalierbarkeit als auch für das RAL bezahlbare Leistung erhalten, welche für die schnell anwachsende Rechnerlast bei der Klimamodellierung nötig ist.
Herausforderung "Zeitrahmen": Eine entscheidende Herausforderung war nach RAL-Informationen das enge Zeitfenster für die Installation des Systems. Die Finanzierung des Projekts schrieb vor, dass sämtliche Geräte innerhalb von zwei Monaten nach Auftragsvergabe eintreffen, und die gesamte Speicherkapazität bis Ende des dritten Monats online und voll betriebsfähig sein musste...
Das Team evaluierte nach eigenen Angaben neben Panasas ActiveStor 11 weitere am Markt verfügbare Hardware-/Software –Systeme, entschied sich nach gründlicher Analyse dann für ActiveStor, da dieses System eine voll integrierte Lösung liefert, besonders unter den hier geforderten Aspekten Kosten, Bedienerfreundlichkeit, einfache Verwaltung und lineare Skalierbarkeit. Das System eliminierte Leistungs-Engpässe, zeitaufwändige Anstrengungen zur Unterstützung der Datenspeicherung sowie Probleme bei der Administration der älteren RAL-Systeme und erlaubt es den Forschern, sich auf ihre eigentliche Arbeit zu konzentrieren, anstatt sich um IT-Infrastruktur kümmern zu müssen. Knapp 8,5 Petabyte an ActiveStor-Speicher kommt an den drei NCAS Forschungsstandorten zum Einsatz: 6,6PB im RAL, 720 Terabyte (TB) an der Universität Reading, 180TB an der Universität Leeds sowie 900TB an einem vierten Standort, dem International Space and Innovation Centre (ISIC).
Zu Panasas ActiveStor: Das Filesystem bietet lineare skalierbare Kapazität mit einer Bandbreite bis 150 GB/Sekunde und sehr hohen Single File-System-Durchsatz pro Terabyte (hier SATA Enterprise Arrays). Mit dem Einsatz der ActiveStor-Geräte entfallen die Engpässe herkömmlicher NAS-Systeme in Bezug auf die I/O-Leistung von Anwendungen dadurch, dass HPC Cluster-Knoten auf das Filessystem direkt und parallel zugreifen können. Bei wachsenden Speicheranforderungen können zur unterbrechungsfreien Skalierung von Kapazität und Leistung einfach weitere Blade-Chassis oder ganze Racks hinzugefügt werden (quasi lineare Skalierbarkeit von Kapazität und Leistung).
Das Data- und Storage-Management erfolgt bei ActiveStor über eine zentrale Schnittstelle. So können sich die Forscher im Rutherford Appleton Laboratory laut eigenen Angaben auf die Daten für ihre Entdeckungen konzentrieren, ohne sich mit der Lösung von spezifischen Storageproblemen wie der Kapazitäts- und Leistungsplanung, die Verwaltung von Mount-Punkten oder das Load Balancing für mehrere, zusammengefasste Storagesysteme zeitintensiv befassen zu müssen.
Anwenderzitate: “Das Panasas Parallel-Dateisystem bleibt selbst bei voller Auslastung stabil, und der direkte und parallele Zugriff auf die zusammengefassten Speicheranlagen bedeutet, dass wir selbst an unseren komplexesten Simulationen arbeiten können, ohne unter den Leistungseinschränkungen unserer früheren Ausstattung zu leiden. Die Panasas-Lösung bietet uns leistungsfähige HPC-Fähigkeiten, mit denen wir unsere massiven Datenmengen nutzen können, um wichtige wissenschaftliche Fortschritte zu erzielen.” Dr. Bryan Lawrence, Universität Reading & NCAS.
“Wir sind sehr beeindruckt davon, wie einfach sich ActiveStor nutzen und verwalten lässt. Trotz seiner offensichtlichen Komplexität benötigt die Lösung nur ein Minimum an Personal zur Wartung, so dass sich die Forschungsmitarbeiter auf ihre Simulationen konzentrieren können – und nicht auf die mühsame Systemadministration.” Zitat: Dr. Peter Oliver, wissenschaftliches Rechtzentrum von RAL (e-Science Centre). Mehr dazu auch unter: