München, Starnberg, 12. Febr. 2024 - PetaScale All-Flash Storage Server mit PCIe 5.0, E3.S-SSDs sowie high-performance File System Data- und Object Storage Software…
Zur Ankündigung: Petabytes an unstrukturierten Daten, die im Rahmen der KI-Trainingsverarbeitung verwendet werden, sollen den GPU-Servern zu möglichst geringen Latenzen bei hoher Bandbreite zur Verfügung stehen, damit diese konstant ausgelastet bleiben. Supermicro hat dazu jetzt optimierte Full-Stack Storage-Lösungen (Server-HW, Storage, 3rd Party Software, Rack-Scale, Multi-Tier) für KI- und ML-Datenpipelines vorgestellt, um die gesamte Anwendungsbandbreite von der Datenerfassung bis hin zur hochleistungsfähigen Datenbereitstellung abdecken zu können.
1. Die neuen Rack-Scale Storage-Systeme maximieren laut Anbieter die (KI-)Time-to-Value, indem für das KI-Training auch sehr große Mengen an Rohdaten mit Kapazitäten im Petascale-Bereich gesammelt, umgewandelt und in die KI-Workflow-Pipeline eines Unternehmens geladen werden können. Ziel ist es danach, Implementierungsrisiken zu reduzieren, KI-Modelle schneller zu trainieren und daraus resultierende Daten schnell für KI-Inferenzen zu nutzen. Die Systeme können laut Hersteller einen Lesedurchsatz von 270 GB/s und 3,9 Millionen IOPS pro Storage-Cluster in der kleinsten Konfiguration erreichen und auf Hunderte von Petabytes skaliert werden.
2. Die neuen Multi-Tier-Lösungen liefern Datenmengen im Bereich von mehreren Petabyte für AIOps und MLOps in Produktionsumgebungen. Die Supermicro-Systeme setzen auf PCIe 5.0- und E3.S-SSDs in Verbindung mit WEKA Data Platform-Software, um die Leistung von KI-Anwendungen steigern zu können. Dazu Charles Liang, President und CEO, Supermicro: „Mit 20 PB pro Rack an Hochleistungs-Flash-Speicher mit vier anwendungsoptimierten NVIDIA HGX H100 8-GPU-basierten luftgekühlten Servern oder acht NVIDIA HGX H100 8-GPU-basierten flüssigkeitsgekühlten Servern können Kunden ihre KI- und ML-Anwendungen beschleunigen“.
Die Rack-Scale Storage-Systeme bestehen aus folgenden Elementen (Quelle, Supermicro):
All-Flash-Ebene: Petascale All-Flash-Storage-Server mit 983,04 TB** pro Server an NVMe Gen 5-Flash-Kapazität, bei einer Lesebandbreite von bis zu 230 GB/s und 30 Millionen IOPS (**Rohwert, basiert auf der Rohkapazität des Anbieters von 30,72 TB. Die Verfügbarkeit von 30.72TB E3.S SSDs ist abhängig von der Verfügbarkeit seitens SSD-Hersteller).
Anwendungsebene: Supermicro 8HE GPU-Server AS -8125GS-TNHR und SYS-821GE-TNHR
Objektebene: Supermicro 4HE SuperStorage Server SSG-640SP-E1CR90 mit 90 Laufwerksschächten und Quantum ActiveScale Objektspeicher
Software: WEKA Data Platform und Quantum ActiveScale Objektspeicher
Switches: Supermicro InfiniBand und Ethernet Switches.
Abb.: WEKA Solution Architecture Overview (Bildquelle: Supermicro Solution Brief, WEKA AIO, Reference Architecture).
Kommentar Jonathan Martin, President, WEKA: „Die hohe Leistung und die große Speicherkapazität der All-Flash Petascale Storage Server von Supermicro ergänzen die KI-native Datenplattform-Software von WEKA perfekt. Zusammen bieten sie die Geschwindigkeit, Skalierbarkeit und Einfachheit, die von den heutigen KI-Kunden in Unternehmen gefordert wird“.
Querverweis:
Unser Blogpost > Parallele scale-out Filesysteme in Kombination mit Object Storage für KI-Anwendungen
Unser Beitrag > Künstliche Intelligenz, Energiemanagement und die Forderungen nach mehr Nachhaltigkeit
Unser Beitrag > Micron 9400 NVMe SSD Hochleistungs-Drives für mixed Workloads in Rechenzentren