Madrid, Starnberg, 04. April 2023 - Das Storage Consortium zu Besuch im 'Real Observatorio' in Madrid; Datenmanagement für „Storing the Galaxy”; ein Anwenderbericht...
Zum Hintergrund: Die Europäische Weltraumorganisation (ESA) treibt die Erforschung des Weltraums mit einer massiv skalierbaren globalen Speicherlösung voran. Am 22. März 2023 fand dazu eine von NetApp zusammen mit der europäischen Weltraumorganisation (ESA) ausgerichtete Veranstaltung unter dem Titel „Storing the Galaxy“ im Real Observatorio, Madrid (Spanien) statt. Gastgeber der Veranstaltung waren u.a. Rubén Álvarez Timón, IT Director Science and Operations bei der ESA und José Manuel Petisco, Iberia Lead bei NetApp. Das Storage Consortium war für Sie vor-Ort, um mit den Experten von ESA und NetApp über folgende Themen zu sprechen:
- die technologischen Herausforderungen, vor denen die ESA bei der Erfassung, Speicherung, Verarbeitung und gemeinsamen Nutzung von Daten steht;
- wie Speichertechnologie die wissenschaftliche Forschung unterstützt, diese Herausforderungen zu lösen;
- die Bedeutung des Datenmanagements bei Weltraummissionen.
Auf dem Gelände des Real Observatorio, Madrid (Spanien). Foto: Storage Consortium
Zum Bericht: Bei Weltraummissionen wie der Kartierung der Milchstraße, der Landung auf einem Kometen oder der Suche nach Leben auf dem Mars fallen große Datenmengen an. Aktuell erstellt die ESA beispielsweise die weltweit genaueste 3D-Karte der Milchstraße. Dafür werden mehr als eine Milliarde Sterne katalogisiert.
Im Gespräch mit Rubén Álvarez Timón wurde deutlich, dass dabei nicht nur die reine Datenmenge (heute ca. 8 PB on-prem in ESA-Rechenzentren und bis 20 PB in 2030) eine Herausforderung darstellt, sondern mehr noch das Data Processing und hier vor allem kritische Datenbank-Performance-Aspekte. Daneben spielen weitere Punkte zur Verfügbarkeit, die Speicher- und Verwaltungskostenseite (TCO) sowie Datensicherheit bei der Verarbeitung, Bereitstellung und Verwaltung eine Rolle.
Die ESA arbeitet in diesem Bereich mit (NetApp-) Storage Effizienz Tools wie Compression (Kompression, falls aus Anwendungsdaten-Sicht effektiv), insbesondere jedoch mit Deduplizierung. Protokollseitig wird NFS und S3 eingesetzt und alle wesentlichen Daten sind on-premise gespeichert-/verarbeitet. Dazu kommen Content Delivery Networks (CDN) mit Caching zum Einsatz. Längerfristige Sicherungskopien-/Backups (über Snapshots hinaus) werden zusätzlich auf Tape erstellt.
Im Bild: Rubén Álvarez Timón, IT Director Science and Operations bei der ESA (Bildquelle: ESA).
Europa ist täglich auf die Daten der ESA angewiesen
Jeden Tag erhält die ESA riesige Mengen an Telemetrie-Rohdaten von ihren Raumfahrzeugen und Observatorien. Diese Daten müssen gespeichert und aufbewahrt werden, bevor sie archiviert oder weitergegeben werden können. Die Zuverlässigkeit dieser Daten ist deshalb von entscheidender Bedeutung für die Wissenschaftler. Zitat: "Wir haben die Verpflichtung, täglich Daten an verschiedene Institute in Europa zu liefern", so Ruben Alvarez.
Um die hohe Verfügbarkeit der Daten und Systeme zu gewährleisten, setzt die ESA im Bereich non-disruptive Data Processing auf NetApp ONTAP, das unterbrechungsfreie block-/file data migration (sowohl für Controller und Disk-Shelfs) von min. 2 bis 24 Controller ermöglicht. Zudem kommen ML_Algorithmen für Data Security und Storage Management zum Einsatz.
Die digitale Bibliothek des Weltraums
Eine zusätzliche Herausforderung betrifft die Tatsache, dass die Daten jeder Mission unbegrenzt zugänglich sein müssen. Alles muss gespeichert und verwaltet werden, damit zukünftige Wissenschaftler ihre Erforschung des Universums mit historischen Daten fortsetzen können. Zitat: Ruben Alvarez: "Wir nennen unsere Website die Bibliothek des Universums, weil wir das wissenschaftliche Archiv all unserer wissenschaftlichen Missionen aufbewahren. So ermöglichen wir es den Menschen, das Universum wirklich zu erforschen."
Datengestützte Erkundungen vorantreiben
Die ESA hat im Rahmen der gemeinsamen Initiative Copernicus von ESA und Europäischer Kommission eine Reihe von Erdbeobachtungsmissionen der nächsten Generation entwickelt. Ziel des Sentinel-Programms ist es laut ESA zum Beispiel, die älteren Erdbeobachtungsmissionen zu ersetzen, die in den Ruhestand getreten sind, wie die ERS- und Envisat-Missionen, oder die sich derzeit dem Ende ihrer Lebensdauer nähern. Dadurch wird die Kontinuität der Daten sichergestellt, so dass es keine Lücken in laufenden Studien geben soll.
In diesem Zusammenhang fallen laut dem ESA-Verantwortlichen Satellitendaten mit hochauflösenden Bildern und Messungen von ca. 16 TB pro Tag an, was das Datenwachstum in den (9) ESA-Rechenzentren von bislang 8 PB auf über 20 PB beschleunigen wird. Daneben sind weitere Projekte wie z.B. “Euclid” erwähnenswert (siehe Abb.), die sich mit dem Aufbau des Universums (dark energy) beschäftigen.
Bildquelle: Euclid Consortium, aus: Storing the light of the Universe (Rubén Álvarez Timón, Science and Operations IT manager, European Space Agency ESA)
Kosmologische Forschung
Rosetta ist danach nur eine der vielen Missionen des ESA-Wissenschaftsprogramms, das darauf abzielt, das Verständnis des Universums zu erforschen und zu vertiefen. Wie haben sich Galaxien im frühen Universum gebildet? Gab es jemals Leben auf dem Mars…? Mit der Raumsonde Gaia erstellt die ESA derzeit die weltweit genaueste 3D-Karte der Milchstraßengalaxie. Letztendlich ist geplant, mit Gaia 1 Milliarde der 100 Milliarden Sterne in unserer Galaxie katalogisieren. Dabei wird sie 10.000 Mal mehr Daten produzieren als frühere Missionen und durchschnittlich 70 Milliarden Beobachtungen pro Tag verarbeiten
Zuverlässige und skalierbare Datenspeicherung gefordert
Ein Fazit: Um Gaia und alle ihre wissenschaftlichen Missionen zu unterstützen, benötigt die ESA nach eigenen Angaben Zuverlässigkeit und Skalierbarkeit ihrer Datenspeicher-Umgebung. Um diese Anforderungen zu erfüllen, entschied sich die ESA für NetApp® Storage- und Datenmanagementlösungen. Die eingesetzte Lösungskomponenten umfassen NetApp FAS Storage und NetApp ONTAP® Betriebssystem.