Integrierte Daten- & Metadatenverwaltung mit Langzeitarchivierung für aktive sowie unstrukturierte Daten im KI- und high-performance Computingumfeld...
Hintergrund
Moderne HPC-, Forschungs- und KI-Umgebungen erzeugen teils riesige Mengen unstrukturierter Daten über Leistungs- und Archivspeicherebenen hinweg. Angesichts dieser wachsender Kapazitäten stehen viele Unternehmen deshalb vor mehreren zentralen infrastrukturbezogenen Herausforderungen:
- Steigende Infrastrukturkosten: Die längere Aufbewahrung großer inaktiver Datensätze auf Hochleistungsspeichern (Flash etc.) erhöht die Betriebs- und Investitionskosten.
- Fragmentierte Daten: Flash- und Objektspeicher, Cloud-Plattformen sowie Archivsysteme sind verteilt und werden als Silos betrieben, wobei die Transparenz zwischen den verschiedenen Speicherebenen (Tiers) begrenzt ist.
- Komplexe Langzeitarchivierung: Unternehmen suchen nach einer dauerhaften Archivinfrastruktur, welche die Daten auch über Jahrzehnte hinweg kosteneffizient aufbewahren kann und sowohl den Zugriff als auch die Auffindbarkeit gewährleistet.
- Green IT und Nachhaltigkeit: Rechenzentren stehen im Zeitalter von KI unter wachsendem Druck, den Energieverbrauch, Platzbedarf und langfristige Umweltauswirkungen zu reduzieren.
ARCITECTA, GRAU DATA und COMBACK bieten im Rahmen der genannten Anforderungen eine integrierte Architektur, die intelligente Datenorchestrierung, metadaten-gesteuerte Archivierung und unternehmensweite Tape-Infrastruktur zu einer einheitlichen Plattform für den Datenlebens-Zyklus kombiniert. Laut Entwickler bietet die gemeinsame Lösung folgende Leistungsmerkmale (Quelle, Anbieter Solution Brief):
Verwaltung umfangreicher Datensätze über aktive und Archivumgebungen hinweg
Aufrechterhaltung von Transparenz und Zugänglichkeit über den gesamten Datenlebenszyklus
Automatisierung richtliniengesteuerter Datenverschiebung und -aufbewahrung
die Senkung der Kosten für Langzeitspeicherung und des Energieverbrauchs
die Skalierung einer nachhaltigen Archivinfrastruktur für Umgebungen im Petabyte- und Exabyte-Maßstab.
Die Plattform kann so hochleistungsfähige Workflows mit einer dauerhaften Langzeitarchivierung verbinden und adressierte dabei zunehmend relevante Themen wie operative Transparenz, Governance und Kontrolle. Die einzelnen Lösungsbestandteile beinhalten:
1. Arcitecta Mediaflux
Intelligente Datenorchestrierung und globales Datenmanagement. Kern der Lösung ist die Mediaflux®-Plattform von Arcitecta. Die Software bietet:
-
Globales Namespace-Management mit Mediaflux Multi-Site
Hierarchisches Speichermanagement (HSM)
Workflow-Orchestrierung und -Automatisierung
Metadatenmanagement
Speichervirtualisierung über heterogene Infrastrukturen hinweg
Richtliniengesteuerte Datenverschiebung
API-gesteuerte Integration.
Mediaflux kann damit eine einheitliche Datenstruktur schaffen, die Hochleistungspeicher, Objektspeicher, Cloud-Plattformen sowie Bandarchive umfasst. Dies ermöglicht es, die Daten über mehrere Speicherumgebungen hinweg einheitlich zu verwalten und dabei Zugänglichkeit und Governance zu ermöglichen.
2. GRAU DATA MetadataHub
Erweitert die Architektur um Metadaten-Intelligenz und skalierbare Archivintegration. Die Grau Data Lösung bietet:
-
Metadaten-Intelligenz und skalierbares S3-zu-Band-Archiv
MetadataHub extrahiert und indexiert Metadaten aus komplexen Dateiformaten und ermöglicht
Erweiterte Suche und Erkennung
Transparenz der Metadaten
Schnellere Datenanalyse und -klassifizierung
Verbesserte Governance und Compliance
Vertiefte betriebliche Einblicke in unstrukturierte Datensätze.
In Verbindung mit Mediaflux kann MetadataHub damit mehr Transparenz und Auffindbarkeit, dies sowohl bei aktiven als auch bei archivierten Daten, gewährleisten.
Abb.: MetadataHub (Bildquelle: GRAU DATA)
3. COMBACK ORION-Bandbibliotheken
Modernes Hochleistungs-Computing erfordert eine Archivinfrastruktur, die sich über Jahrzehnte und nicht nur über Jahre nachhaltig skalieren lässt. Die ORION-(LTO) Bandbibliotheken von COMBACK bilden die physische Archivinfrastruktur zur langfristigen Datenaufbewahrung. BDT ORION-Systeme wurden konzipiert für:
-
Groß angelegte Archivumgebungen
Hohe Speicherdichte
Modulare Skalierbarkeit
Betriebssicherheit
Kosteneffiziente Langzeitaufbewahrung
Geringe Energieaufnahme
Lange Lebensdauer der Speichermedien
Cyber-Resilienz
Wirtschaftlichkeit
Die Plattform unterstützt skalierbare Unternehmensarchiv-Implementierungen für Organisationen, die Datensätze im Petabyte- und Exabyte-Bereich verwalten. Durch die Integration moderner Metadatenverwaltung und S3- Archiv-Workflows in die Unternehmens-Bandinfrastruktur lassen sich laut Entwickler damit nachhaltige Archiv-Architekturen schaffen, ohne dabei auf Zugänglichkeit oder betriebliche Effizienz verzichten zu müssen.
Anwenderbeispiel TU Dresden
Die integrierte Lösung von Arcitecta und GRAU DATA wurde von der Technischen Universität Dresden ausgewählt, um das groß angelegte Bandarchiv zu optimieren und gleichzeitig die Transparenz und den Zugriff auf archivierte Forschungsdaten zu gewährleisten. Die Forschungs- und Bildungseinrichtung suchte nach einer Lösung, die seine spezifischen Anforderungen an das Daten- und Metadatenmanagement erfüllt.
Ferner wurde eine Software gesucht, welche in Verbindung mit Mediaflux die vorhandenen Bandlaufwerke ansteuern und neben dem klassischen Archiv sowie Backup die Möglichkeiten eines hierarchischen Speichermanagements (HSM) bietet.
Durch die Kombination von Mediaflux und XtreemStore profitiert die Universität nach vorliegenden Angaben von der skalierbaren Archivinfrastruktur, einer metadatenreichen Auffindbarkeit sowie optimierten Workflows für die Langzeitaufbewahrung.
Querverweis:
Unser Beitrag > GRAU DATA mit BeeGFS Kooperation: massiv skalierbare Speicherinfrastruktur für HPC, KI und Big Data
Unser Beitrag > Photonic Computing und europäische technologische Souveränität: IONOS Kooperation mit Q.ANT
Unser Beitrag > PoINT Software erweitert S3-to-Tape Lösung um LTFS