München, Starnberg 12. Dez. 2018 - Storage ist ein entscheidender Faktor für den Erfolg von KI-Projekten; Lösung kombiniert Flash mit IBM Software-Defined Spectrum Scale...
Zum Hintergrund: Folgt man einer Untersuchung von IDC, so sollen bis 2019 rund 40 % aller Initiativen zur digitalen Transformation Services mit Künstlicher Intelligenz (KI) nutzen. Bereits seit einiger Zeit investieren Unternehmen in Datenexperten und setzen auf leistungsfähige GPU-Server, um KI-Modelle zu entwickeln und daraus Geschäftswerte zu generieren. Dreh-und Angelpunkt sind dabei die Daten und die Effizienz der sog. KI-Daten-Pipeline – von der Datenaufbereitung bis hin zu nutzbaren Erkenntnissen. Die Wahl des Datenspeichers ist dabei entscheidend für den Erfolg. Datenanalysten benötigen Zugang zu großen Datenmengen, die von vielfältigen Datenwerkzeugen unterstützen werden. Leistungsstarker, protokollübergreifender Shared Storage für die neuesten Tools wie TensorFlow, PyTorch und Spart ermöglichen den Teams einen schnelleren Zugriff auf einen größeren Datenumfang bei reduzierter Komplexität, niedrigeren Kosten und höherer Zuverlässigkeit.
IBM stellt IBM Spectrum AI mit NVIDIA DGX vor
Die neue konvergente Lösungsplattform kombiniert das softwaredefinierte scale-out Filesystem IBM Spectrum Scale mit All-Flash Storage auf NVIDIA DGX-1-Systemen. Der NVIDIA DGX Software-Stack wurde laut Entwickler für maximale GPU-beschleunigte Trainingsleistung entwickelt und beinhaltet das neue RAPIDS-Framework zur Beschleunigung des datenwissenschaftlichen Workflows. Die Einführung neuer KI-Frameworks wird durch das Containermodell vereinfacht, das von NVIDIAs NGC-Container-Repository für GPU-optimierte Anwendungen unterstützt wird. IBM SpectrumAI mit NVIDIA DGX ist die neueste in einer Reihe von IBM Systems Infrastrukturlösungen für KI, die Lösungen mit IBM Power AC922, IBM PowerAI, IBM Spectrum Computing und dem IBM Spectrum Software Storage Portfolio umfassen.
Zusammenfassung der Lösungen und Geschäftsvorteile
-
IBM SpectrumAI mit NVIDIA DGX liefert die Grundlage für eine KI-Dateninfrastruktur: Es kann die KI-Datenpipeline von der Datenaufbereitung über Training, Inferenz und Archivierung unterstützen. IBM SpectrumAI wurde laut Anbieter exklusiv über den gemeinsamen Reseller-Kanal von IBM und NVIDIA getestet, abgestimmt und ausgeliefert und bietet zusammen mit NVIDIA DGX die einsatzbereite, robuste Infrastruktur und Software, die KI-Projekte benötigen, um schnell zu wachsen.
-
IBM Spectrum Scale kann in Konfigurationen von einem IBM Elastic Storage Server (ESS), der einige NVIDIA DGX-1-Server unterstützt, bis hin zu einem Rack von 9 Servern mit 72 Tesla V100 Tensor Core GPUs und Multi-Rack-Konfigurationen eingesetzt werden. Im Gegensatz zu herkömmlichen Speicher-Arrays skaliert nach Angaben der Entwickler die hoch-parallele IBM Spectrum Scale File System Software praktisch linear bei Random Reads, um mehrere GPUs zu versorgen. Im Ergebnis soll die Flash-basierte Shared Storage - Lösung damit eine KI-Workload-Performance vergleichbar mit der einer lokalen RAM-Disk liefern. Pro Rack konnte IBM SpectrumAI mit NVIDIA DGX 120 GB/s Datendurchsatz (1) erreichen, um damit mehrere Benutzer und Modelle gleichzeitig zu unterstützen.
IBM Spectrum Scale wurde für KI und Flash aktualisiert und bietet als Daten-Management Werkzug die Flexibilität, sich in die erweiterte Datenpipeline einzufügen. In IBM SpectrumAI als integrierte All-Flash-Lösung bereitgestellt, kann es auch Speicherdienste für verschiedene Speicheroptionen, einschließlich der AWS Public Cloud, bereitstellen. IBM Spectrum Scale ist ferner in der Lage, Daten mit IBM Cloud Object Storage und Tapes mit gemeinsamen Metadaten-Diensten von IBM Spectrum Discovery auszutauschen.
Weitere Informationen zur Ankündigung finden Sie in diesem IBM Blog
Abb. 1 Bildquelle: Solution Brief, IBM SpectrumAI with NVIDIA DGX Solution Brief 86022386USEN
(2) Cognitive, ML, and AI Workloads Infrastructure Market Survey, IDC, January 2018; n=405, 1,000+ employees (U.S.); 500+ employees (Canada); IDC Technology Spotlight #US43977818
Bildquelle: IBM Corporation
(1) IBM-Labortests der IBM Spectrum Scale auf 3 NMVe-Arrays mit 4k random reads (FIO gesteuert) auf 9 NVIDIA DGX-1-Systemen in Verbindung mit Mellanox EDR Infiniband.
Querverweis: IBM Webinar "Building your AI Data Pipeline with IBM Spectrum AI" am 29. Januar 2019
Quellenangabe
Link > IBM SpectrumAI mit NVIDIA DGX Referenzarchitektur 81022381USEN
Link > IBM SpectrumAI mit NVIDIA DGX Performance 87022387USEN
Link > IBM Systems Referenzarchitektur für KI-Infrastruktur