München, Starnberg, 05. Nov. 2024 - Leistung mit 500 Mikrosekunden Latenz für KI-Datenpipelines im Exabyte-Bereich; Software ist optimiert für kleine (4-KB) Objektdaten...
Zur Ankündigung: Scality hat mit RING XP eine neue All-Flash-Konfiguration seiner RING-Speichersoftware (software defined distributed scale-out file- und object) für extreme Performance-Anforderungen vorgestellt. Leistungsintensive (I/O) Workloadprofile wie sie beim Training und der Feinabstimmung von KI-Modellen auftreten, können den Zugriff auf Milliarden kleiner Objekte mit extrem niedrigen Latenzzeiten bis in den Mikrosekundenbereich erforderlich machen. RING XP adressiert laut Entwicklerinformationen diese Randbedingungen als optimierter Objektspeicher für kleine Objektdaten mit Reaktionszeiten im Mikrosekunden-Bereich.
RING XP kann laut Anbieter eine 10- bis zu 20 Mal geringere Latenz als Amazon S3 Express One Zone*, sowie eine 50-100 Mal geringere Latenz als Amazon S3 (d.h. Millisekunden im Vergleich zu Mikrosekunden) erreichen. (1) Die softwaredefinierte Objektspeicher-Lösung positioniert sich vom Leistungsniveau damit gegenüber spezialisierten hardware-basierten All-Flash-Dateisystemen. Zusätzlich bietet RING XP die Vorteile von Object Storage wie Skalierbarkeit, Einfachheit, API-Zugriff, Hochverfügbarkeit sowie Sicherheit bei optimierten Kosten.
- *Externer Link > https://aws.amazon.com/de/s3/storage-classes/express-one-zone/
- „S3 Express speculations“ > https://quickwit.io/blog/s3-express-speculations#:~:text=A%20single%20digit%20Time%2DTo,(80ms%20is%20rather%20common
Weitere Vorteile von RING XP betreffen (Quelle/Anbieter):
- KI-optimierte Konnektoren für den skalierbar schnellen Speicherzugriff von Anwendungen.
- Leistungsoptimierte RING Speichersoftware, die den Speicher-I/O im gesamten Stack beschleunigt.
- AMD EPYC TM-basierte NVMe-All-Flash-Speicherserver von Lenovo, Supermicro, Dell und HPE.
- Unterstützung von EPYC für PCIe und NVMe sowie die höchste Anzahl von Kernen in Single-Socket-CPUs zur Optimierung der Latenz.
Abb.1: NVMe-All-Flash-Speicherserver-Support (Bildquelle: Scality)
Abb. 2: RING AI, Data Lake customer: SeqOIA Médecine Génomique, Auszug (Bildquelle: Scality).
Mit einer Schreib- (PUT) und Leselatenz (GET) im Mikrosekundenbereich für 4-KB-Objekte positioniert sich RING XP als Objektspeicher-Target für KI-Tools sowie individuell entwickelte Anwendungen und leistungsoptimierte Dateisysteme, die zum Training von KI-Modellen verwendet werden. Im Gegensatz zu klassischen Speicherlösungen, die jeweils nur Teile des KI-Workflows abdecken, bilden RING XP und Scality RING eine (software-definierte) Plattform für jede Phase der KI-Pipeline, von der Aufnahme sehr großer Datensätze für das Training von Modellen bis hin zur Inferenz und weiter.
- RING als grundlegendes Repository für KI-Data-Lakes mit heißen/warmen/kalten Daten auf Exabyte-Ebene
- RING XP für extreme Latenzanforderungen von Datensätze für KI-Training
- Integriertes Lifecycle Management für alle Phasen der Datenpipeline
- Verwaltung über ein gemeinsames Framework von Management- und Überwachungstools
- End-to-End-Cyberresilienz durch integrierte CORE5-Funktionen für Sicherheit und Datenschutz.
- RING und RING XP als Komplettlösung für das Speichermanagement von KI-Datenpipelines, um KI-gestützte Geschäftsprozesse zu optimieren.
(1) Quelle / externer Link > https://www.solved.scality.com/ring-xp-ai-performance/
Querverweis:
Unser Beitrag > Scality ARTESCA 3.0: "CORE5"-Cyber-Resilienz gegen Ransomware-Angriffe auf Backupdaten
In unserem Tech-Podcast nachgefragt > Software-Definierte Speicherverwaltung mit Scality ARTESCA „fast object storage“
Unser Blogpost > Flash oder Festplatte für KI-Projekte? Technologisch und wirtschaftlich bestimmende Faktoren
Unser Beitrag > Cyber Recovery Readiness Report 2024 zeigt Effekte von Investitionen in mehr Cyberresilienz