Seattle (WA/US), Starnberg, 18. Juni 2024 - ANQ fungiert als intelligenter Datenbeschleuniger für den Objektspeicher und führt parallelisierte, vorgezogene Lesevorgänge aus...
Zur Ankündigung: Azure Native Qumulo (ANQ) ist ein nativer Cloud-Service und wurde zusammen mit Microsoft entwickelt. Es handelt sich dabei um eine Softwarelösung für unstrukturierte Daten, die bis auf Exabyte-Größen skalieren kann. Azure Native Qumulo (ANQ) ist eine extrem schnelle und kosteneffiziente Cloud-native Speicherlösung, wie die jüngsten SPECstorage® Solution 2020 AI_IMAGE Benchmark-Ergebnisse zeigen. (1) Qumulo’s Azure Native Qumulo (ANQ) erreicht nach diesen Informationen eine Overall Response Time (ORT) von 0,84ms mit Gesamtkosten für den Kunden von $400 innerhalb eines 5-stündigen Burst-Zeitraums.
Zum Hintergrund: Die Bereitstellung von kosteneffizienten KI-Trainingsinfrastrukturen in der öffentlichen Cloud erfordert die Übertragung von Daten aus einem kostengünstig skalierbaren Objektspeicher in einen begrenzten und teuren Dateicache. Dies führt zu zusätzlicher Komplexität und soll für bis zu 40 % Leerlaufzeit der GPU verantwortlich sein, da die Daten vom Objektspeicher in die lokalen Dateicaches übertragen werden.
ANQ fungiert als intelligenter Datenbeschleuniger für den Objektspeicher und führt parallelisierte, vorgezogene Lesevorgänge aus, die direkt von der nativen Azure-Infrastruktur über das Qumulo-Dateisystem an GPUs geliefert werden, auf denen KI-Trainingsmodelle ausgeführt werden. Die Lösung verbessert laut Entwickler die GPU-seitige Leistung, indem sie die Ladezeiten zwischen der Objektebene und dem Dateisystem beschleunigt und damit (Zitat) „die Architektur für dateiabhängiges KI-Training in der Cloud grundlegend verändert“.
Benchmark-Leistung und Kosteneffizienz
Zu den Ergebnissen des SPECstorage® Solution 2020 AI_IMAGE Benchmarks und den wichtigsten Highlights gehören:
- Erzielung einer ORT von 0,84 ms bei 700 Jobs, laut Anbieter der schnellste Benchmark seiner Art, der auf der Microsoft Azure-Infrastruktur ausgeführt wurde.
- Nutzung eines SaaS-PAYGO-Modells, bei dem die Messung gestoppt wird, wenn die Leistung nicht benötigt wird, was nach Angaben von Qumulo zu Kosten von ca. 400 US$ Listenpreis für die Durchführung des Benchmarks führt.
(1) Abb.: 1: Bildquelle: Qumulo
Anmerkung: Azure Native Qumulo ANQ fungiert als intelligenter Datenbeschleuniger für den Objektspeicher und führt parallelisierte, vorgezogene Lesevorgänge aus, die direkt von der nativen Azure-Infrastruktur über das Qumulo-Dateisystem an GPUs gesendet werden, die KI-Trainingsmodelle ausführen (Quelle: Qumulo, übersetzt mit DeepL.com).
Abb. 2: Performance: SPECstorage Solution 2020_ai_image = 704 AI_Jobs. Bildquelle / Copyright © 2016-2024 Standard Performance Evaluation Corporation. Azure Native Qumulo - Public Cloud Reference. Quelle externer Link > https://spec.org/storage2020/results/res2024q2/storage2020-20240521-00078.html
ANQ kann sich von anderen Cloud-nativen Dateilösungen, die KI-Lösungen für ihre Kunden anbieten, wie folgt abheben (Quelle/ Anbieter):
-
Echte elastische Skalierbarkeit: Die ANQ-Speicherleistung skaliert mit den Anforderungen des KI-Anwendungsstacks und spart Kosten, wenn keine Nachfrage besteht. Im Gegensatz zu anderen Cloud-Dateisystemen arbeitet ANQ ohne vorab bereitgestellte Volumes.
-
Disruptive Preisgestaltung: Qumulo gibt danach die Einsparungen bei den Cloud-Kosten direkt an die Kunden weiter. Das Preismodell basiert auf der tatsächlichen Speichernutzung (GB) und der benötigten Leistung (Durchsatz und IOPs), ohne die Notwendigkeit, Kapazitäten im Voraus zu reservieren.
-
Lineare Leistungsskalierung: Die Architektur von ANQ soll sicherstellen, dass die Leistung bei steigender Arbeitslast linear zunimmt. Mit einer durchschnittlichen Cache-Trefferrate von mehr als 95 % beschleunigt ANQ die GPU-seitige Skalierbarkeit und Leistung und umgeht die Ladezeiten zwischen der Objektebene und dem Dateisystem.
Querverweis:
Unser Beitrag > Explodierende Cloud-Kosten und Jetzt?
In unserem Tech-Podcast nachgefragt > Qumulo File Daten Management: ein interaktiver Podcast mit Anwendungsbeispielen
Unser Blogpost > Speicheranforderungen von KI-Anwendungen: Randbedingungen und Einsatzkriterien