Fehlertolerantes verteiltes parallel File System für Scale-Out High-Performance Speicherinfrastrukturen. Quobyte 4 mit nativer ARM-Unterstützung jetzt als Zero-Downtime-Upgrade für aktuelle Implementierungen…
Hintergrund
Skalierbare Storage Filesysteme gewinnen auf Grund der zunehmenden Menge an zu verarbeitenden Daten über neue Anwendungen weiter an Bedeutung, und gerade KI-Workloads beanspruchen die Infrastruktur stärker als je zuvor.
Als reiner Software Defined Storage Stack läuft die Quobyte-Lösung auf jedem handelsüblichen Linux x86- oder ARM-Server. Es verwandelt einen Server-Cluster in ein linear skalierbares Speichersystem mit der Leistung eines parallelen Dateisystems. In der einfachsten Startkonfiguration wird Hardwareseitig prinzipiell nur ein x86- oder ARM-Prozessor, RAM, eine Netzwerkkarte, NVMe-Device oder ein HBA mit SATA/SAS-Laufwerken benötigt. (1)
Während Quobyte im Kern ein paralleles*, verteiltes, POSIX-kompatibles Dateisystem repräsentiert, handelt es sich bei dem Gesamtsystem um eine komplette Datenplattform, die NVMe- und Storagemedien (Flash, HDD, Tape) mit Datenmanagement, Analysen, Mandantenfähigkeit und Sicherheitsfunktionen kombiniert (siehe Abb. unten).
Ein Quobyte-Cluster kann laut Entwickler sowohl anspruchsvollste Anwendungen wie KI/Machine Learning, Video-Rendering oder MPI-Anwendungen als auch traditionelle Unternehmens-Workloads wie Datenbanken oder Home Directories über NAS-, Block- und Objekt-Storage-Workloads unterstützen.
Ankündigungsübersicht
Quobyte 4 wurde laut Entwickler speziell „für die Ära der künstlichen Intelligenz und der Workloads der nächsten Generation entwickelt“ und als transparente Infrastruktur innerhalb von On-Premises-, Cloud- und Hybrid-Umgebungen arbeiten. Mit der Markteinführung (Anfang Mai 2025) steht die neuesten Generation des parallelen Dateisystems laut Anbieter jetzt als kostenlose Edition für neue Benutzer, als auch als Zero-Downtime-Upgrade für bestehende Implementierungen zur Verfügung.
KI-Workloads beanspruchen die Infrastruktur
Quobyte 4 führt deshalb verschiedene Neuerungen mit seiner Lösung ein, um das KI-Training zu beschleunigen und den Scale-Out-Speicher zu vereinfachen:
-
Native ARM-Unterstützung
Quobyte auf ARM-basierten Prozessoren, einschließlich Nvidia Grace (Hopper und Blackwell), Ampere, AWS Graviton und GCP-Umgebungen. ARM und x86 in einem Cluster mischen oder eigenständige ARM-Umgebungen bereitstellen, um Leistung zu maximieren und Infrastruktur-Investitionen zu schützen. - Intelligente Integration von Cloud Object Storage
Verwalten von Hybrid- und Cloud-Daten
- Cloud Tiering: Verschieben von kalten Daten automatisch in einen S3-kompatiblen oder Azure Blob-Speicher, bei einfachem Zugriff.
- Cloud-Kopie: Kopieren von ganzen Volumes oder ausgewählten Datensätze über verschiedene Standorte und Clouds hinweg. Nur die Daten bereitstellen, die für das KI-Training benötigt werden.
- Direktes Lesen: Direkt auf Dateien aus dem Cloud-Speicher zugreifen, um die Kosten vor Ort zu senken und die Agilität zu verbessern.
End-to-End-Monitoring
Überwachen jeder Ebene - von der Anwendungs-E/A bis zur Festplatte - mit Echtzeitwarnungen, Engpassanalysen und weiteren Leistungsmetriken. Die Beobachtbarkeit ermöglicht laut Entwickler:
- Proaktive Wartung
- Schnellere Fehlerbehebung
- Höchste GPU- und Cluster-Leistung
Abb.: The Quobyte Policy Engine: Software-defined Storage - Defining the Structure of Your Cluster in Software (Bildquelle: Quobyte).
Anmerkung: Die Leistung der File Query Engine liegt in der Integration mit Quobytes verteiltem und repliziertem Key-Value-Store, der Metadaten speichert und dazu keine weitere Datenbankschicht benötigt. Die Policy-Engine arbeitet auf Dateiebene und ermöglicht in Kombination mit der Art und Weise, wie Quobyte die Datensicherung auf Dateiebene ohne Replikationsgruppen durchführt, die individuelle Platzierung jeder neuen Datei. Bestehende Dateien können auf beliebige Laufwerke im Cluster verschoben werden, wenn Richtlinien geändert werden. Daten lassen sich unterbrechungsfrei verschieben, um einen Cluster ohne Unterbrechung an veränderte Anforderungen anzupassen (Quelle / Anbieter).
Zitat Björn Kolbeck, CEO & Mitbegründer, Quobyte: „Quobyte 4 bietet genau die Funktionen, die unsere Kunden brauchen: native Unterstützung für ARM-Prozessoren, intelligenteres Cloud-Datenmanagement und vollständige Transparenz der Infrastrukturleistung.“
Unsere Anmerkung: Vor der Gründung von Quobyte in 2013 entwickelten die beiden Gründer Björn Kolbeck und Felix Hupfeld zusammen mit ihrem Team am Zuse-Institut Berlin, einem der deutschen Supercomputing-Zentren, das parallele Open-Source-Dateisystem XtreemFS.
*Bei der Speicherung mit verteilten Dateisystemen wird ein paralleles Dateisystem verwendet, um mehrere Speicherknoten logisch über einen gemeinsamen (globalen) Namensraum zusammenzufassen und als Speicherpool mit hoher Bandbreite (parallel für mehrere Hosts) bereitzustellen.
Plattform-Upgrades mit Quobyte 4- Leistungsmerkmale:
Datei-Query-Engine: Schnelle, SQL-ähnliche parallele Abfragen über große Datenmengen.
NFS-Verbesserungen: Übersichtlichere Benutzeroberfläche, automatische VIP-Verwaltung und DNS-Integration.
RDMA-Unterstützung: Datenübertragungsraten in kompatiblen Netzwerken erhöhen.
Data Mover mit Volume Sync: Daten an verschiedenen Standorten, in Clustern und Clouds verwalten, mit Kosteneffizienz und Datenintegrität.
Versionierung + Objektsperre: Richtlinien zur Datenaufbewahrung durchsetzen und versehentliche Änderungen an wichtigen KI-Daten verhindern.
Integrierter DNS-Server: Den Datenverkehr automatisch über alle S3- und NFS-Gateways ausgleichen.
Einmalige Anmeldung (SSO): Sicherer Zugriff über OpenID Connect, Active Directory oder LDAP.
Kostenlose Edition & Upgrades verfügbar.
(1) Quelle / externer Link > https://www.quobyte.com/recommended-hardware/
Querverweis:
Unser Blogpost > Parallele scale-out Filesysteme in Kombination mit Object Storage für KI-Anwendungen