München, Starnberg, 13. Febr. 2017 - Satellitendaten im zweistelligen Petabyte-Bereich mit Quantum StorNext Scale-out Storage kosteneffizient verwalten...
Zum Hintergrund: Als Geschäftsbereich der Airbus Group ist Airbus Defence and Space das größte europäische Unternehmen in der militärischen Luftfahrt sowie militärischen und zivilen Raumfahrt. Es ist das zweitgrößte Raumfahrtunternehmen weltweit und zählt zur Top-Ten der weltgrößten Unternehmen in der Verteidigungsbranche. Airbus Defence and Space ist für die Archivierung der riesigen Datenmengen zuständig, die ununterbrochen von den Sentinel-Satelliten der ESA (European Space Agency) übertragen werden. Die europäische Raumfahrtbehörde ESA (European Space Agency) befördert mit jeder Sentinel-Mission zwei Satelliten in den Orbit – innerhalb weniger Jahre nach Beginn des Programms wird die ESA vier Sentinel-Satelliten in der Erdumlaufbahn haben. Jeder Satellit überträgt mehr als 1 PB an Daten pro Jahr, und das über geplante 15 Jahre (wenn alle vier Satelliten im Orbit sind, müssen ca. 40.000 Dateien täglich archiviert werden). Zur Speicherung dieser Daten musste ein neues Archiv angelegt werden.
Anwenderzitat Mark Curtis, Verantwortlicher für die technische Entwicklung bei Airbus Defence and Space: „Wir archivieren nicht nur die Roh- oder Level-0-Daten der Instrumente, sondern auch die vom PGDS (Payload Data Ground Segment, für Nutzdaten zuständiges Bodensegment) verarbeiteten Daten, also Level-1- und -2-Produkte. Um ein langlebiges Archiv für diese Datenmengen zu erhalten, brauchten wir eine Speicherlösung, die sich auf mehrere Dutzend Petabyte skalieren lässt... Wir suchten also nach einem leistungsstarken Dateisystem, das zig-Millionen Dateien verträgt. Außerdem sollte das Dateisystem eine ganze Palette an Dateigrößen und -typen unterstützen.“
Die Verwaltung mehrerer Millionen von Dateien, wirtschaftlich umgesetzt mit Tape
- „Die Kostenkontrolle ist wesentlich, da wir für die Sentinel-Missionen Dutzende Petabyte an Daten speichern müssen“, erläutert Curtis. „Tape ist ein extrem günstiges Speichermedium: Jede Bandkassette speichert riesige Datenmengen zu geringen Kosten, und Tape Libraries haben einen geringeren Strom- und Kühlungsbedarf als schnellere Systeme.“ Tape eignet sich somit hervorragend für Anwendungen, in denen große Datenvolumen gestreamt werden.
Die Lösung: Aufbau eines skalierbaren Multi-Tier-Archivs mit StorNext (1)
- Das Team von Airbus entschied sich für eine mehrstufige StorNext-Lösung mit StorNext AEL6000 Tape-Archiven, Metadaten-Appliances und Disk-Cache – komplett auf der Basis von StorNext. Ein Grund für die Entscheidung zugunsten StorNexts waren frühere positive Erfahrungen mit Quantum bei Infoterra, einem Bildlieferanten für Google Earth, der inzwischen zu Airbus Defence and Space gehört. Das Archiv ist ursprünglich für 18 PB Daten ausgelegt, kann aber auf 37 PB skaliert werden.
Kontinuierlicher Daten-Ingest und -Zugriff in Höchstgeschwindigkeit
- In der Regel kann das Airbus-Team einzelne Dateien in weniger als einer Minute aus dem Archiv zurückladen, und mittels Fibre-Channel werden auch große Datentransfers schnell bereitgestellt. Das System unterstützt alle gängigen Betriebssysteme, darunter Linux und Windows. Zitat: „Unsere aktuelle Konfiguration liefert mit dem StorNext File System eine Performance von 1,1 GB/s“, so Curtis. „So können wir all die Rohdaten und verarbeiteten Daten, die wir erhalten, schnell einspeisen und rasch wieder auffinden, falls nötig.“
Sicherung von Daten mit geringem Personalaufwand
- Die Quantum EDLM (Extended Data Life Management)-Funktionen helfen bei der Sicherung der Daten. „Werden bei einer Kassette Qualitätsprobleme festgestellt, migriert StorNext automatisch die Daten auf ein besseres Tape, ohne dass hierfür das Eingreifen eines Administrators nötig ist. EDLM ist ein absoluter Pluspunkt.“ Und weiter: Die Administrationskosten bei StorNext sind ziemlich niedrig. Mit der Quantum-Lösung reichen zwei Mitarbeiter, um dieses wachsende PB-Archiv mit Satellitendaten zu verwalten.“
Mehr Flexibilität für unerwarteten Datenzuwachs
- StorNext passt sich an wechselnde Anforderungen an. Ein neu geplantes Relais-Satellitensystem etwa wird voraussichtlich sehr viel mehr Speicher benötigen als ursprünglich vorgesehen. „Glücklicherweise können wir mit StorNext unsere Umgebung ganz einfach skalieren. Wir können ohne großen Aufwand neue Archivsysteme hinzufügen – und auf LTO-7 umsteigen – und damit auch den neuen Anforderungen an die Datensicherung gerecht werden“, erläutert Curtis.
Ein Fazit des Kunden: „Wenn die ESA die nächsten Sentinel-Satelliten ins All befördert, werden sich die Speicheranforderungen vielleicht wieder ändern“, so Curtis. „Aber dank StorNext sind wir vorbereitet.“
Abb. 1: LTO Entwicklungsfahrplan (Bildquelle: Quantum Corp.)
(1) Quelle: Quantum - Hier können Sie den gesamten Anwenderbericht als PDF herunterladen...