San Mateo (CA), Starnberg, 26. Febr. 2024 - Neue NAS-Kategorie gegen Speicherengpässe; Bereitstellung der für GPU-Computing notwendigen Hochleistungs-Datenpipeline…
Zur Ankündigung: Hammerspace hat letzte Woche eine neue Hochleistungs-NAS-Architektur vorgestellt, um die Anforderungen breit angelegter Unternehmensinitiativen in den Bereichen KI, maschinelles Lernen und Deep Learning (KI/ML/DL) sowie den weiteren Anstieg von GPU-Computing - sowohl vor Ort als auch in der Cloud - zu adressieren. (1) Die vom Anbieter neu definierte Kategorie „Hyperscale NAS“ soll im Gegensatz zu Scale-up- und Scale-out NAS mehr Performance liefern können, um GPU-Cluster jeder Größe für GenAI, Rendering und Enterprise High-Performance Computing zu betreiben. Nachfolgende ein (gekürzter) Auszug der Hammerspace-Ankündigung:
Der Aufbau und das Training effektiver KI-Modelle erfordern eine enorme Leistung, um die GPU-Cluster zu versorgen, die die Daten verarbeiten. Die Leistungsanforderungen sind vielfältig und erfordern eine Mischung aus Streaming großer Dateien, leseintensiven Anwendungen und zufälligen Lese-/Schreib-Arbeitslasten für Checkpointing und Scratch Space. Herkömmliche Scale-out-NAS-Architekturen - selbst All-Flash-Systeme - können die Leistungs- und Skalierungsanforderungen dieser Anwendungen nicht erfüllen. Die Bereitstellung einer konsistenten Leistung in dieser Größenordnung war bisher nur mit parallelen HPC-Dateisystemen möglich, die komplex in der Bereitstellung und Verwaltung sind und den Anforderungen von Unternehmen nicht gerecht werden.
(1) Quelle: Hammerspace Hyperscale NAS Architecture TECHNICAL BRIEF, Overview (Bildquellen: Hammerspace).
Kommentarauszug David Flynn, Gründer und CEO von Hammerspace: “Unternehmen, die KI-Initiativen verfolgen, werden mit ihrer bestehenden IT-Infrastruktur auf Herausforderungen stoßen, was die Kompromisse zwischen Geschwindigkeit, Skalierung, Sicherheit und Einfachheit angeht… Hyperscale NAS ist eine grundlegend andere NAS-Architektur, die es Unternehmen ermöglicht, das Beste der HPC-Technologie zu nutzen, ohne Kompromisse bei den Unternehmensstandards einzugehen."
Die Hyperscale NAS-Architektur hat sich nach Angaben des Herstellers als das (Zitat) „weltweit schnellste Dateisystem für KI-Training im Unternehmens- und Webmaßstab erwiesen.“ Die Lösung arbeitet danach produktiv mit Systemen, die auf ca 1.000 Speicherknoten skaliert wurden und bis 30.000 GPUs mit einer Gesamtleistung von 80 Terabit/s über Standard-Ethernet und TCP/IP versorgen können. Die Lösung benötigt keine proprietäre Client-Software und soll entsprechend skalieren, um die Anforderungen auch einer beliebigen Anzahl von GPUs während des Trainings und der Inferenz zu erfüllen. Sie nutzt dazu bestehende Ethernet- oder InfiniBand-Netzwerke sowie vorhandene Commodity- oder Drittanbieter-Speicherinfrastrukturen, und verfügt laut Hersteller über ein komplettes Set von Datendiensten, um Compliance-, Sicherheits- und Data Governance-Anforderungen zu erfüllen.
Zertifiziert als NVIDIA GPUDirect Storage
Die Architektur hat nach vorliegenden Informationen den GPUDirect Storage Support - Validierungsprozess von NVIDIA durchlaufen. Die Zertifizierung ermöglicht es Unternehmen, die Hammerspace-Software zu nutzen, um unstrukturierte Daten zu vereinheitlichen und Datenpipelines mit NVIDIAs GPUDirect®-Technologiefamilie zu beschleunigen.
Durch den Einsatz von Hammerspace vor bestehenden Speichersystemen kann jedes Speichersystem über Hammerspace als GPUDirect-Storage präsentiert werden, um einen hohen Durchsatz und niedrige Latenzzeiten zu erreichen und die NVIDIA GPUs voll auszulasten.
Dazu auch Eric Herzog, CMO bei Infinidat (Auszug): "Mit der zunehmenden Nutzung von KI in Unternehmen und Behörden ist die effiziente Verwaltung von Dateidaten in heterogenen Infrastrukturen wichtiger denn je... Unsere Partnerschaft mit Hammerspace stellt einen entscheidenden Schritt nach vorne dar und ermöglicht es Infinidat-Kunden, dateibasierte Workloads nahtlos in ihre bewährten InfiniBox Enterprise-Storage-Umgebungen einzubinden“.
Querverweise zum Thema:
Unser Beitrag > IBM Storage Ceph 7.0 Update: NVMe/TCP-Support und WORM Object Lock Zertifizierungen
Unser Beitrag > Cloud-native All-Flash Storage Software Lösung Quantum Myriad™ bei XENON Systems
Unser Beitrag > Storage und NFS: VAST Data Kommentar von Sven Breuner zu KI- und HPC-Workloads