München, Starnberg, 31. Okt. 2016 - Quantum unterstützt zwei bekannte deutsche Forschungsinstitute mit scale-out Multi-Tier Workflow Storage...
Zum Hintergrund: Zwei bedeutende deutsche Forschungsinstitute nutzen Quantum StorNext scale-out Workflow Storage als Basis für die Verwaltung ihrer wachsenden Datenbestände und zur Realisierung einer Reihe von Forschungsprojekten: Die Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen GWDG – Hochschulrechenzentrum für die Georg-August-Universität Göttingen und das IT-Kompetenzzentrum für die Max-Planck-Gesellschaft hat StorNext-basierte Disk- und Tape-Systeme in einer Multi-Tier-Lösung integriert, um diverse Performanceaspekte zu adressieren und den Zugriff auf ca. 7.0 PB an Forschungsdaten zu gewährleisten. Parallel dazu hat sich das Max-Planck-Institut für Chemie MPI für Chemie in Mainz für eine End-to-End-Speicher- und Archivierungslösung von Quantum entschieden.
Hochperformanter, simultaner Datenzugriff und ein großes Archiv für die GWDG
- Die GWDG unterstützt mehr als 40.000 Anwender und benötigte ein hochperformantes Storage-System, das imstande ist, Milliarden Dateien zu verwalten, und den hohen Ansprüchen der Skalierbarkeit genügt, denn das Datenvolumen verdoppelt sich nahezu jährlich. Zusätzlich sollte die Storage-Plattform eine Multi-Tier-Speicherumgebung – mit 2,5 PB Daten auf Disk und 4,5 PB auf Tape – über ein zentrales Dateisystem unterstützen.
StorNext hat nach Anwenderangaben hierzu alle Anforderungen, die an Skalierbarkeit, Performance und Zugriff gestellt wurden, erfüllt. Heute kann das Team des IT-Kompetenzzentrums den Anwendern heterogenen Datenzugriff über alle gängigen Betriebssysteme bieten und verwaltet ein großes und kontinuierlich wachsendes Datenarchiv. Trotz des anhaltenden Wachstums lässt sich die mehrstufige StorNext-Speicherumgebung nach wie vor unkompliziert verwalten. Das IT-Team musste bisher dafür weder zusätzliche Mitarbeiter einstellen noch Teammitglieder von anderen Projekten abziehen. Ein Beispiel für die erfolgreiche Integration: Die GWDG unterhält ein High Performance Computing (HPC)-Cluster mit simultanem Datenzugriff via StorNext und das bei einer Geschwindigkeit, die weit über den Anforderungen der Anwender liegt. Das IT-Team installierte StorNext Distributed LAN-Clients (DLCs) auf HPC-Nodes und stellte sieben StorNext-Gateways für Lastausgleich und Failover bereit.
Das StorNext DLC-Protokoll ermöglicht den Zugriff auf Daten über Ethernet mit 3,2 GB/Sekunde. Die ursprüngliche Forderung der Nutzer von 2.0 GB/Sekunde lag unter diesem Wert. Diese Anwender können so große Datenmengen für die Weiterverarbeitung in das Cluster übertragen und für die langfristige Vorhaltung schnell zurück transferieren.
Abb. 1: Bildquelle Quantum, StoreNext bei GWDG
Simultaner Datenzugriff und integrierte Sicherung beim Max-Planck-Institut für Chemie
- Das Max-Planck-Institut für Chemie mit Sitz in Mainz erforscht das System Erde und chemische Prozesse in der Atmosphäre sowie die Wechselwirkungen zwischen Luft, Wasser, Erde und Mensch. Die Forschungsprojekte produzieren große Mengen an Rohdaten. Ein Beispiel ist das Gemeinschaftsprojekt ATTO, Amazonian Tall Tower Observatory, das den Klimawandel im brasilianischen Regenwald untersucht. Manche der Messgeräte sammeln täglich bis zu 80 GB Daten. Diese Daten werden dann in das Rechenzentrum nach Mainz transportiert und prozessiert. Von dort werden sie Wissenschaftlern rund um den Globus zur Verfügung gestellt.
Angesichts des enormen Wachstums von Forschungsdaten entstand der Bedarf nach simultanem Datenzugriff für zahlreiche parallel arbeitende Wissenschaftler und einem Backup-System, das den Speicheranforderungen gerecht wird. In enger Zusammenarbeit mit dem Systemhaus microstaxx entschied sich das MPI für Chemie für die Quantum StorNext-Plattform.
Heute unterstützt die Datenmanagement-Plattform mehrere parallel laufende Datenströme, bietet die Möglichkeit schnell zu skalieren sowie simultanen Datenzugriff durch unterschiedliche Wissenschaftler, was die Produktivität steigert. Durch die hohe Performance, Skalierbarkeit und Unterstützung einer breiten Palette von Betriebssystemen (einschließlich Linux, UNIX, Windows und Mac) hat StorNext innerhalb der einzelnen Forschungsgruppen den Bedarf nach eigenen Speichersystemen gesenkt. Zudem konnte das Institut von der integrierten StorNext-Datensicherung profitieren. Mit der Integration von Multi-Tier-Datenmanagement und einer Quantum Scalar i6000 Tape Library kann das Max-Planck-Institut für Chemie die Forschungsdaten im Hintergrund automatisiert sichern. Das Institut nutzt die Quantum Active Vault-Funktion, um Tapes innerhalb der Bandbibliothek zu archivieren statt außerhalb in einem Schrank. Die Funktion senkt Kosten und Handlingaufwand und verbessert gleichzeitig die Sicherheit sowie den Zugriff auf die archivierten Inhalte. Die Extended Data Life Management (EDLM)-Funktion schützt vor Datenverlust, indem die Tapes regelbasiert nach einer gewissen Zeit gelesen werden, um zu prüfen, ob sie noch einwandfrei funktionieren.
Anwenderzitat Dr. Philipp Wieder, stellvertretender Leiter, GWDG: „Nach unseren Erfahrungen ist StorNext die einzige Plattform, die Dateien und Daten in dem von uns geforderten Umfang stemmen kann und dabei eine sehr hohe Performance liefert. StorNext wurde den Erfordernissen trotz immer komplexerer Workflows, Weiterentwicklungen der IT-Umgebung und Änderungen im IT-Team stets gerecht.“
Anwenderzitat Thomas Disper, Leiter IT und IT-Sicherheit, Max-Planck-Institut für Chemie: „Mit StortNext können wir die Kapazität schnell und einfach vervielfachen. Wir müssen Forschungsteams keine Limits in Bezug auf Speicherkapazität setzen. Storage für neue Projekte kann binnen eines Nachmittags zur Verfügung gestellt werden.“
Abb. 2: Neubau des Max-Planck-Institut für Chemie (Quelle MPI)