ARMONK, N.Y., Starnberg, 13. Nov. 2023 - Neue cloudbasierte Hochleistungs-Speicher-Appliance mit parallelem Filesystem, NVMe und QLC Flash für unstrukturierte Daten…
Zur Ankündigung: IBM hat das neue IBM Storage Scale System 6000 offiziell vorgestellt.** Es handelt sich dabei um eine cloudbasierte globale Datenplattform, die den heutigen Anforderungen an datenintensive Workloads und KI gerecht werden soll. Ferner wurde das neueste Angebot im Portfolio von "IBM Storage for Data and AI" vorgestellt. IBM Storage Scale System 6000 baut danach auf einem erweiterten parallelen Hochleistungs-Dateisystem für datenintensive Anwendungsfälle auf. Es kann bis zu 7 Mio. E/A-Operationen pro Sek. mit bis zu 256 GB/s Durchsatz für schreibgeschützte Workloads pro System liefern; bei einem Platzbedarf von 4U (vier Rackeinheiten). (1)
Um den wirtschaftlichen Nutzen sowohl von Basismodellen als auch von traditionellen KI-Modellen zu nutzen, müssen sich Unternehmen auf die Daten konzentrieren – ihre aktuellen Kapazitäts- und Wachstumsprognosen, wo sich die Daten befinden, wie sie gesichert und zugänglich sind und wie künftige Investitionen in Datenspeicher optimiert werden können.
Das neue IBM Storage Scale System 6000 wurde für die Speicherung semi-strukturierter und unstrukturierter Daten wie Videos, Bilder, Text, Instrumentierungsdaten usw. optimiert. Also Daten die täglich generiert werden und den digitalen Speicherbedarf eines Unternehmens in hybriden Umgebungen vergrößern. Die Leistungsmerkmale versprechen folgende Vorteile (Quelle / IBM Storage):
Größere Dateneffizienz und Skaleneffekte durch die IBM FlashCore-Module (FCM), die laut Anbieter im 1. Halbjahr 2024 integriert werden sollen:
„Die neue maximale Kapazität (Kapazitätseffizienz) von NVMe FCM bietet 70 % niedrigere Kosten bei 53 % weniger Energie pro TB im Vergleich zu vorherigen Flashlaufwerken von IBM mit maximaler Kapazität für IBM Storage Scale System. (2) Dies soll helfen, die volle Leistung von NVMe mit den Kostenvorteilen von Quad-Level Cell (QLC) zu realisieren. (3)
Leistungsfähige integrierte hardwarebeschleunigte Datenkomprimierung und -verschlüsselung, um Kundendaten auch in Multi-User- und Multi-Tenant-Umgebungen zu schützen.
Storage Scale System 6000 mit FCM unterstützt das 2,5-fache Datenvolumen auf derselben Grundfläche wie das System der vorherigen Generation" (4)
Beschleunigte Einführung und Operationalisierung von KI-Workloads mit IBM watsonx:
Entwickelt mit einer neuen NVMeoF-Turbo-Schicht, einer neuen parallelen Multi-Tenant-Datenisolation und patentierten IBM Speicherlaufwerken für Rechenleistung, bietet es laut Anbieter mehr Leistungssicherheit und Effizienz für KI-Workloads.
Die IBM Storage Scale Software - globale Datenplattform für unstrukturierte Daten, die das Scale System 6000 unterstützt - verbindet Daten mit einem offenen Ökosystem aus Speicheroptionen verschiedener Anbieter, einschließlich AWS, Azure, IBM Cloud und anderen öffentlichen Clouds, zusätzlich zu IBM Tape Storage.
Schnellerer Zugriff auf Daten mit einem über 2,5-fachen GB/s-Durchsatz und doppelter Leistung bei E/A-Operationen pro Sekunde.
Hoher Verarbeitungsdurchsatz und hohe Zugriffsgeschwindigkeit mit mehreren gleichzeitig ablaufenden KI- und datenintensiven Workloads, die ausgeführt werden können, um eine Reihe von Anwendungsfällen zu erfüllen.
Anwendungsbeispiel IBM Storage Scale für angewandte KI an der University of Queensland: Beispiele bei denen IBM Storage verwendet wird, sind hier die angewandte KI zur Charakterisierung neurodegenerativer Erkrankungen und die Suche nach effektiveren und flexibleren Impfstofftechnologien. Anwenderkommentar (Auszug) Jake Carroll, Chief Technology Officer, Research Computing Centre, The University of Queensland, Australien: „Für die KI-Forschung mit medizinischer Bildanalyse haben wir die Latenzzeit des Zugriffs im Vergleich zu unserer vorherigen Speicherinfrastruktur um bis zu 60 % verringert. Für Genomik und komplexe Strömungsdynamik-Workloads haben wir den Durchsatz um bis zu 70 % erhöht… Das Storage Scale System 6000 von IBM sollte für uns bahnbrechend sein. Mit den Spezifikationen, die ich gesehen habe, würden wir durch die Verdoppelung der Leistung und die Erhöhung der Effizienz in der Lage sein, unsere wissenschaftlichen Forschungsfragen mit einem höheren Durchsatz zu stellen, aber mit niedrigeren Gesamtbetriebskosten und einem niedrigeren Stromverbrauch pro E/A-Prozess.“
Weiteres Anwendungsbeispiel (ext. Link) > https://www.ibm.com/case-studies/continental-automotive
IBM Storage Scale System und NVIDIA-Technologie
Das Storage Scale System 6000 bietet laut IBM die Möglichkeit, eine Informationslieferkette von einer NVIDIA-KI-Lösung zu anderen KI-Workloads zu erstellen, unabhängig davon, wo sie sich befinden. Die neue NVMeoF-Turbo-Schicht von IBM wurde für kleine Dateien entwickelt, z. B. für Dateien, die von fernen Geräten erfasst wurden, oder für den Zugriff auf kleinere Transaktionen wie Data Lake- oder Lakehouse-Analysen, sodass sie in eine NVIDIA-Lösung integriert werden können.
Storage Scale System 6000 unterstützt NVIDIA Magnum IOTM GPUDirect® Storage (GDS) mit einem direkten Pfad zwischen GPU-Hauptspeicher und Speicher. Es kann laut Entwickler auch die Leistung mit E/A-Operationen zur Übertragung großer Datenmengen verbessern, wenn GDS aktiviert ist. Unter Verwendung von NVIDIA ConnectX-7™ NICs unterstützt das Scale System 6000 bis zu 16 Ports mit 100 Gb RDMA over Converged Ethernet (RoCE), 200 Gb/s und/oder 400 Gb/s InfiniBand oder eine Kombination aus beiden, um die Leistung zwischen Knoten oder direkt zu NVIDIA-GPUs zu erhöhen.
Abb.: NVIDIA Magnum IO (Bildquelle: NVIDIA)
Anmerkung zum Schaubild: NVIDIA Magnum IO nutzt Storage IO, Network IO, In-Network Compute und IO Management, um die Datenbewegung, den Zugriff und die Verwaltung für Multi-GPU- und Multi-Node-Systeme zu vereinfachen und zu beschleunigen. Magnum IO unterstützt NVIDIA CUDA-X™-Bibliotheken und nutzt eine Reihe von NVIDIA-GPU- und NVIDIA-Netzwerkhardware-Topologien für einen möglichst optimalen Durchsatz mit niedrigen Latenzzeiten (Quelle: NVIDIA)
** Abb.: Daten aus Core, Edge und Cloud auf einer Plattform mit optimierter Leistung für GPU-Workloads zusammenführen. IBM Storage Scale System 6000 (Bildquelle: IBM).
Kommentarauszug Denis Kennelly, General Manager bei IBM Storage: „Das Potenzial der neuen KI-Ära von heute lässt sich meiner Meinung nach nur voll ausschöpfen, wenn Unternehmen eine Strategie haben, Daten aus mehreren Quellen nahezu in Echtzeit zusammenzuführen, ohne zahlreiche Kopien von Daten zu erstellen und konstante Iterationen der Datenaufnahme zu durchlaufen..."
Quellenangaben (IBM):
(1) „Die Leistungsaspekte wurden durch die Ausführung von Beispielprogrammen in einer kontrollierten Umgebung mit Standardhardware-/Softwarekonfigurationen und Testverfahren ermittelt. Die Leistung für E/A-Operationen pro Sekunde wird mithilfe einer nicht geschützten Stufe für die Funktionalität erzielt, die über eine spezielle Anforderung unterstützt wird. Da die Leistung je nach Konfiguration, Programmmerkmalen und anderen Installations- und Umgebungsfaktoren variiert, können die Ergebnisse in anderen Betriebsumgebungen variieren. IBM übernimmt keine Gewährleistung oder Garantie dafür, dass ein Benutzer in seiner Umgebung dieselben oder ähnliche Ergebnisse erzielt.
(2) Verbesserungen der Kapazitätseffizienz auf der Basis des Vergleichs neuer 38-TB-FCM-Laufwerke (Flash Core Modular) mit bis zu 2:1 Inline-Komprimierung im Vergleich zu vorherigen 30-TB-Laufwerken mit maximaler Kapazität. Kosten pro TB basierend auf dem Standardlistenpreis von Laufwerken (Listenpreis auf Anfrage verfügbar) und dem Energieverbrauch basierend auf der Spezifikation von Laufwerken. Ext. PDF Link > https://www.ibm.com/downloads/cas/JBVQYVXB.
(3) Adshead, A. (14. März 2023) QLC edges into mainstream, but what are its advantages? ComputerWeekly.com.
(4) Die Kapazität von Storage Scale System 6000 für vier Rackeinheiten basiert auf einer Konfiguration unter Verwendung von 38-TB-FCM-Drives mit bis zu 2:1-Inline-Komprimierung, die in 1H 2024 mit 900 TB/Rackeinheit-Stellfläche unterstützt wird; im Vergleich zur vorherigen Generation des Scale System 3500 mit 2 Rackeinheiten und 30-TB-Flash-Laufwerken mit 360 TB/Rackeinheit-Stellfläche.“
Querverweis:
Unser Beitrag > Aus "IBM Spectrum" wird "IBM Storage“: Refokussierung auf das Speichergeschäft
Unser Beitrag > IBM watsonx KI- und Datenplattform für beliebige Cloud-Umgebungen angekündigt
Unser Blogpost > Speicheranforderungen bei KI-Anwendungen: Randbedingungen und Einsatzkriterien