San Jose (US), Starnberg, 16. Febr. 2024 - End-to-End (hot-to-cold) Management von KI- und Data Science Workloads mit skalierbarer File- und Objektspeicher-Lösung…
Zum Hintergrund: Anwendungen mit teils massiven Datensätzen und anspruchsvollen I/O-Profilen verlangen nach flexibel erweiterbarer Kapazität und I/O-Performance (Durchsatz, IOPS); dies zu möglichst geringen Latenzzeiten, aber auch zu vertretbaren Kosten. Ein klassischer NAS-Speicher skaliert bei vielen modernen Workloads in Bezug auf diese kritischen Parameter nur begrenzt. Moderne Speichersoftware-Technologien (software-defined scale-out-storage, SDS) auf Basis von Industrie Standard Hardware und Protokollen wie NVMe im Verbund mit NAND-Flash, Caching etc. sind insbesondere für steigende Bandbreiten-Anforderungen mit zufälligen Zugriffsmustern von kleinen bis sehr großen Files eine Lösung für Data- und Storage Management Anforderungen in diesem wachsenden Applikationsumfeld. Gleichzeitig kommt der Vewaltung und Speicherung von kalten Daten aus CAPEX-, OPEX-, Compliance und ESG-Gesichtspunkten mehr Aufmerksamkeit zu. Die Objektdatenspeicherung und hybride Cloud-Depoyments (S3…) spielen aus Unternehmenssicht damit eine ebenso wichtige Rolle.
Zur Ankündigung: Quantum Corp. hat im Rahmen der o.g. Anforderungen seine neue SDS-Lösung Myriad im April 2023 angekündigt und eine Reihe von Kunden des Herstellers konnten die Storage-Softwarelösung laut dem Unternehmen seitdem im Beta-Test prüfen. Einer dieser Kunden ist Xenon Systems, Spezialist für technisches High-Performance-Computing und komplexe Datenspeicherungs-Anwendungen mit Hauptsitz in Melbourne, Australien. Nun ist die All-Flash-Datei- und Objektsoftware Myrad bei Xenon voll im Einsatz.
XENON entwickelt Lösungen zur Lösung komplexer paralleler Rechenprobleme und umfangreicher Datenmanagement-Workflows, sowohl für On-Premises- als auch für Cloud-Infrastrukturen, wobei laut dem Anbieter ein großer Teil des Kundenstamms aus den Bereichen Biowissenschaften, Forschung und High-Performance-Computing (HPC) stammt. Diese Kunden verstärken gerade den Einsatz von KI-Modellen, um Workloads zu verbessern und zu beschleunigen. Dazu ist eine extrem schnelle und leistungsstarke Lösung erforderlich, um diese Workloads sowie Grafikprozessoren (GPUs) unterstützen kann.
Der Lösungsanbieter plant nach vorliegenden Informationen Myriad primär für seine Kunden mit anspruchsvollen datenintensiven Workloads anzubieten. Beispiel ist die Hochgeschwindigkeitsinfrastruktur für KI-Modelle, aber auch variantenreiche Simulationen in den Bereichen Biowissenschaften, medizinische Forschung, Ingenieurwesen sowie weitere High-Performance-Computing (HPC) Anwendungsfälle fallen in diesen Bereich. Das Unternehmen vertreibt zusätzlich bereits Quantum ActiveScale™-Objektspeicher an Kunden, die massive Datensätze erzeugen und eine sichere, kostengünstige private Speicher-Cloud aufbauen müssen, um einen schnellen und sicheren Zugriff auf wachsende Forschungsdatensätze zu erreichen. Mit Myriad und ActiveScale kann ein End-to-End-Datenmanagement aufbaut und verschiedene Speicherklassen kombiniert werden, von „Hot Data“ bis hin zu „kalten“ Archivdaten.
XENON hat sich laut Anbieter demnach für Quantum Myriad entschieden, um (Zitat) "unter Verwendung der neuesten NVMe-Flash-Technologien hohe Performance in jedem Maßstab liefern zu können". Myriad bietet ferner Inline-Datendienste wie Deduplizierung und Komprimierung, Snapshots, Data-Cloning sowie Metadaten-Tagging, um KI/Machine Learning (ML) Workloads zu beschleunigen.
Anstelle von File-Locking, das System-CPU plus Speicherressourcen und damit Performance kosten kann, verwendet Myriad ein "Lock Free" Design, um Schreiblatenzen zu reduzieren. Außerdem werden laut Entwickler cloud-native Technologien wie Microservices und Kubernetes eingesetzt, um eine möglichst einfache Cloud-Lösung zu realisieren, ohne dass hierzu eine spezielle Hardware erforderlich ist.
Bildquelle: Quantum Copr. Myriad
KI-Workloads und GPUs erfordern zwei Dinge: eine extrem schnelle Verarbeitung am Frontend und den langfristigen Schutz der von ihnen erzeugten Daten. Diese sollen dabei über Jahre hinweg aufbewahrt werden, um zukünftige Analysen ermöglichen zu können, falls sich die Methoden verbessern. Myriad in Kombination mit ActiveScale kann diese Anforderungen durch die Kombination von Software Defined Storage im Zusammenspiel mit Object Storage laut XENON erfüllen.
Anwenderkommentar Dragan Dimitrovici, CEO von XENON: "Myriad verfügt über eine moderne Architektur, die die KI-Modelle und -Simulationen unterstützen kann, die unsere Life-Science-Kunden kontinuierlich durchführen. Die Tatsache, dass Quantum über umfassende End-to-End-Lösungen für den gesamten Lebenszyklus von Daten verfügt - Myriad für die anspruchsvollsten KI-Produktions-Workloads und ActiveScale für den Aufbau von aktiven und kalten Datenspeichern im Petabyte- bis Exabyte-Maßstab - macht ihr Angebot für unsere Kunden besonders wertvoll."
Querverweis:
Unser Beitrag mit Podcast > Bessere KI-Ergebnisse mit Graphdatenbank-Technologien?
Unser Beitrag > Intel Innovation 2023: Übersicht zu Strategien für Entwickler, um KI in jede Anwendung zu bringen
Unser Beitrag > Zu den Schlüsselkomponenten eines zielführenden KI-Fahrplans für Unternehmen