Hochleistungs-Objektspeicherlösung und paralleles File-System für anspruchsvolle Datenumgebungen. Native S3-Glacier-Schnittstelle und REST-API-Funktionen…
Hintergrund
Für Rechen- und datenintensive KI-Training-Workloads, typisch bei Deep Learning, HPC-Simulationen etc. kann je nach Umfang eine Standard NFS-Implementierung schnell zum potentiellen Engpass werden. Alternativen sind parallele, verteilte Dateisysteme in Verbindung mit scale-out-Architekturen und intelligentem Tiering. Fragen in dem Zusammenhang sind, ob Objekt- und Filestorage sowie Blockspeicher als integrierter Ansatz vorhanden ist und welche Schwerpunkte aus Anwendungssicht gesetzt werden.
GRAU DATA, Anbieter der Objektspeicherlösung XtreemStore, und ThinkParQ, Anbieter des parallelen Dateisystems BeeGFS für Hochleistungs- und KI-Umgebungen, sind in diesem Zusammenhang jetzt eine strategische Partnerschaft eingegangen. Ziel dieser Zusammenarbeit ist es, eine integrierte, hochskalierbare, sowie leistungsstarke Speicherinfrastruktur anzubieten, die den wachsenden Anforderungen sehr hoher Daten-Workloads gerecht werden kann. (1)
Ankündigungsdetails
Die Integration von XtreemStore und BeeGFS plant folgende Synergien anzubieten:
- BeeGFS gewährleistet einen parallelen und performanten Datenzugriff
- XtreemStore speichert mittels intelligentem Tiering aktive Daten auf schnellen Medien und inaktive Daten in kostengünstigen Bandarchiven.
In Verbindung mit der Datenmigrationsschnittstelle in BeeGFS ermöglicht diese Kombination eine skalierbare Infrastruktur, die eine automatisierte Migration zwischen BeeGFS-Clustern, Cloud-Speichern und Archiven ermöglicht. Zudem unterstützt sie laut Anbieter Hybrid- und Multi-Cloud-Szenarien und kann durch die optimierte Nutzung der Speicherressourcen zu Kosteneinsparungen beitragen.
Praktische Anwendungsfälle (Quelle, Anbieter)
„Beispielsweise in der Medizin und den Biowissenschaften ermöglich sie eine beschleunigte Genomsequenzierung durch parallelen Zugriff und automatisierte Archivierung.
In den Bereichen KI und maschinelles Lernen unterstützt sie dank hoher IOPS und kostengünstiger Langzeitspeicherung das schnelle Training großer Modelle.
Im Bereich kritischer Infrastrukturen sind Echtzeitsimulationen mit geringer Latenz und globaler Datenverfügbarkeit über Multi-Site-Konfigurationen möglich.
Für Forschung und Lehre bietet die Lösung zudem skalierbare Speicherinfrastrukturen für Supercomputer und Universitätscluster, ohne dass Nutzer von einzelnen Anbietern abhängig werden.“
Die Lösungsbestandteile
"GRAU DATA XtreemStore XtreemStore ist eine S3-kompatible Objektspeichersoftware mit integrierter NoSQL-Datenbank für Bandspeicher, die Cloud-Schnittstellen mit energieeffizienter Bandtechnologie kombiniert und so eine kostengünstige Langzeitarchivierung in großem Maßstab ermöglicht. Die Lösung kann laut Entwickler Milliarden von Objekten verwalten und basiert auf einer verteilten Architektur, die eine horizontale Skalierung ermöglicht, ohne die Fehlertoleranz zu beeinträchtigen. Mit nativer S3-Glacier-Schnittstelle und REST-API wird die Bandverwaltung über Web-GUI und CLI realisiert."
Bildquelle: GRAU DATA.
"BeeGFS von ThinkParQ ist ein paralleles Dateisystem, das für High-Performance-Computing (HPC), KI-Training und Big-Data-Analysen entwickelt wurde. Als in Deutschland entwickeltes Produkt bietet es laut Anbieter nicht nur extrem hohe Leistung durch parallelisierten Datenzugriff mit Bandbreiten von Hunderten von Gigabyte pro Sekunde und Millionen von IOPS, sondern auch maximale Souveränität. Unternehmen behalten die volle Kontrolle über ihre Daten, ohne von außereuropäischen Cloud-Anbietern oder proprietären Lösungen abhängig zu sein, und erfüllen so europäische Compliance-Anforderungen und Vorschriften. Das System ist laut Entwickler für Exascale-Umgebungen ausgelegt. Die hohe Verfügbarkeit wird mit Hilfe von redundanten Metadaten- und Speicherserver erreicht."
Bildquelle: BeeGFS, ThinkParQ.
(1) Stand 17. Juni 2026.
Querverweis:
Unser Blogpost > Datenintensive KI-Applikationen und steigende Anforderungen an die Speicherinfrastruktur
Unser Beitrag > Storage und NFS: VAST Data Kommentar von Sven Breuner zu KI- und HPC-Workloads
Unser Beitrag > GRAU DATA Blocky für Veeam® mit neuer Version zum Schutz von Backupdaten vor Ransomware
Unser Beitrag > KI-Storage-Herausforderungen: Wie kann Speicherplatz im KV-Cache beim Einsatz großer Sprachmodelle und der Vektorsuche optimiert werden?