München, Starnberg, 31. Jan. 2022 - Flash-Speicherlösung für den RSC, der laut Meta bei Fertigstellung ab Mitte 2022 zu den schnellsten KI-Supercomputern gehören wird...
Zur Ankündigung: Pure Storage hat seine Zusammenarbeit im neuen AI Research SuperCluster (RSC) von Meta bekanntgegeben. Das RSC soll laut Meta unter den schnellsten KI-Supercomputer der Welt sein. (1) Der angekündigte RSC unterstützt die KI-Forscher von Meta bei der Entwicklung neuer und besserer KI-Modelle. Diese lernen aus Billionen von Samples, arbeiten in Hunderten von verschiedenen Sprachen und analysieren nahtlos Text, Bilder und Videos. Ebenso ist es möglich, damit neue Augmented-Reality-Tools zu entwickeln und vieles mehr. Der RSC soll den Weg für die Entwicklung von Technologien für Metas nächste große Computing-Plattform, das Metaverse, ebnen, in dem KI-gesteuerte Anwendungen und Produkte eine wichtige Rolle spielen werden.
Meta hat sich für Pure Storage als Partner entschieden, um robuste und skalierbare Speicherkapazitäten für den Betrieb des RSC bereitstellen zu können. Mit FlashArray und FlashBlade soll der RSC über die notwendige Leistung verfügen, um sowohl strukturierte als auch unstrukturierte Daten schnell zu analysieren; auf Basis von Einfachheit, Zuverlässigkeit und Nachhaltigkeit dieser Speichertechnologien im Betrieb.
RSC umfasst nach Angaben von Meta AI derzeit 760 NVIDIA DGX A100-Systeme als Rechenknoten für insgesamt 6.080 GPUs – wobei jede A100-GPU leistungsstärker ist als die in vorherigen System von Meta verwendete V100.
Jeder DGX kommuniziert über eine NVIDIA Quantum 1600 Gb/s InfiniBand Two-Level Clos-Fabric ohne Oversubscription. Die Speicherebene von RSC verfügt über 175 Petabyte an Pure Storage FlashArray, 46 Petabyte Cache-Speicher in Altus-Systemen von Penguin Computing und 10 Petabyte Pure Storage FlashBlade.
Abb. 1: AI Research Supercluster Phase 1 (Bildquelle: Meta AI)
(1) Quelle / Link: Meta-Blogpost zum RSC > https://ai.facebook.com/blog/ai-rsc
Pure Storage half danach bereits 2017 bei der Entwicklung der ersten Generation der KI-Forschungsinfrastruktur. Seitdem hat Meta die Zusammenarbeit mit Pure fortgesetzt. Das Portfolio von Pure Storage ermöglicht große KI-Workloads mit hochleistungsfähigen, architektonisch optimierten Lösungen auf kleinstem Raum, umweltfreundlich im Betrieb. Zu den Lösungen, die von Meta's RSC genutzt werden, gehören:
FlashArray//C als unternehmenstaugliche Plattform mit hoher Kapazität, die Hyper-Konsolidierung sowie eine 99,9999%-Verfügbarkeit und konsistente Latenzzeit von einer Millisekunde liefert. Aufgrund der QLC-basierten Architektur erfüllt das Array laut Anbieter die strengen Anforderungen an Performance, Stromverbrauch, Dichte und Platzbedarf der RSC-Umgebung.
FlashBlade als All-Flash-Speicherlösung für die Konsolidierung schneller Datei- und Objektdaten. Sie bietet eine massiv parallele Plattform, die eine ultraschnelle Performance für Milliarden von Objekten und Dateien bereitstellt.
Querverweis: