San Jose (US), Starnberg, 3. April 2023 - Software für File- und Objektspeicher mit NVMe-Flash und RDMA-Fabric; shared-nothing „Green“-Flash-Clustersoftware-Architektur...

Zur Ankündigung: Aufgrund von weiter stark wachsenden unstrukturierten Datenbeständen steigen auch die Herausforderungen für Unternehmen & Organisationen, diese kosteneffektiv und sicher abzuspeichern bzw. zu verwalten. Quantum Corp. kündigt hierzu jetzt Quantum „Myriad“ an, eine neuentwickelte skalierbare All-Flash File- und Objektspeicher-Softwareplattform, die on-premise als auch in der Public Cloud betrieben werden kann. Myriad nutzt laut Entwickler Fortschritte bei Anwendungs-Frameworks und Design, die noch vor wenigen Jahren in dieser Form hierzu nicht verfügbar waren. 

Die moderne cloud-native Architektur von Myriad verspricht eine benutzerfreundliche Lösung, um die bisherigen Grenzen primär hardwarezentrierter Designs zu überwinden und die es ermöglichen soll, sich an künftige Speicheranforderungen flexibel anzupassen und gleichzeitig die Belastung für knappe IT-Mitarbeiter-Ressourcen zu reduzieren. Myriad ist laut Anbieter ab sofort für "Early-Access"-Kunden verfügbar und soll voraussichtlich im dritten Quartal dieses Jahres allgemein verfügbar sein.

Nach Untersuchungen von IDC* wird sich die Datenmenge in Unternehmen in den nächsten fünf Jahren voraussichtlich verdoppeln. Neben einer flexiblen Skalierbarkeit und nativer Cloud-Unterstützung sind Speicher- und Datenverwaltungs-seitig niedrige Latenzzeiten sowie hohe I/O-Leistung damit wesentliche Voraussetzungen zur IT-Infrastrukturseitigen erfolgreichen Unterstützung von modernen Anwendungsprofilen.

Viele Unternehmen speichern ihre Daten jedoch vielfach immer noch auf Systemen, deren Architektur vor 20 Jahren oder davor entwickelt wurde und somit alle Vorteile neuester verfügbarer Flash- und Speichertechnologie nicht nutzen können. Selbst neuere All-Flash-File- und Object-Storage-Lösungen sind oft auf spezielle Hardware angewiesen und können nicht immer nativ in der Cloud betrieben werden. Dies erfordert Kompromisse und erhöht Komplexität.

Myriad adressiert diese Herausforderungen mit einer neuen Shared-Nothing-Architektur

Diese wurde für aktuellste Flash-Technologien entwickelt, um eine konsistente Leistung mit niedriger Latenz für jede Größenordnung bereitstellen zu können. Die Lösung führt Inline-Datenservices wie Deduplizierung und Komprimierung, Snapshots und Cloning sowie Metadaten-Tagging ein, um die Verarbeitung von KI/ML-Daten zu beschleunigen. Myriad nutzt bekannte-/bewährte Cloud-Technologien wie Microservices und Kubernetes, um eine einfache Cloud-Lösung zu ermöglichen, egal wo diese eingesetzt wird. So sollen sich auch Daten zwischen Myriad-Clustern und Datei- und Objektspeichersystemen anderer Anbieter replizieren lassen, einschließlich Quantum StorNext, Quantum ActiveScale.

Die Software läuft auf Standard Flash Storage-Servern mit hoher Kapazität, so dass IT-Teams schnell die neueste Hardware und Speicherinfrastruktur für zukünftige Anforderungen übernehmen können. Mit Myriad können Unternehmen ihre alten HDD-basierten Speichersysteme durch eine softwaredefinierte All-Flash-Plattform ersetzen, die höhere Leistung, größere Skalierbarkeit und eine nachhaltigere und umweltfreundlichere Lösung darstellt und zudem effizienter hinsichtlich Energie- und Rackbedarf ist.

Myriad erweitert Quantums Lösungsportfolio für unstrukturierte Daten (siehe Abbildung unten) und soll sich besonders für Anwendungsfälle wie Künstliche Intelligenz und Maschinelles Lernen, moderne Data Lakes, VFX und Animation sowie andere Anwendungen mit hoher Bandbreite und Bedarf an IOPS eignen. Diese Applikationsprofile treiben das Wachstum des Marktes für skalierbare File- und Objektspeicher, der laut Marktforscher bis 2026 mit einer durchschnittlichen Wachstumsrate von 12 % auf rund 19,1 Mrd. US-Dollar anwachsen soll**.

Quantum Myriad im Überblick (Quelle / Anbieter***):

• Völlig neue, gemeinsam genutzte Software-Architektur, die für aktuellste Flash-Technologien entwickelt wurde, um eine konsistente Leistung mit geringer Latenz in jeder Größenordnung bereitzustellen.

• Moderne Microservices-Architektur, die von Kubernetes orchestriert wird, um eine robuste „Always-On“-Architektur zu bieten und neue Funktionen und Fehlerbehebungen schnell und mit weniger Risiko zu ermöglichen.

• Selbstheilende, sich selbst regulierende Software, die Upgrades während des Betriebs erlaubt, die Daten werden automatisch im Hintergrund neu aufgebaut und repariert sowie ausbalanciert abgelegt, wenn der Speichercluster erweitert, verkleinert oder verändert wird.

• Automatische Erkennung, Bereitstellung und Konfiguration von Speicherknoten innerhalb eines Clusters, so dass ein Cluster unterbrechungsfrei und ohne Benutzereingriff erweitert, geändert oder verkleinert werden kann.

• Automatisiertes Zero-touch Storage- und Netzwerkmanagement der internen RDMA-Fabric, so dass die Verwaltung selbst eines großen Myriad-Clusters keine Netzwerkkenntnisse erfordern soll.

• Inline-Datendeduplizierung und -komprimierung zur Senkung der Kosten für den Flash-Speicher und zur Verbesserung der Dateneffizienz im Vergleich zu älteren Speicherplattformen.   

• Einfache Datensicherheit und Ransomware-Wiederherstellung durch integrierte Snapshots, Clones, Snapshot-Wiederherstellungstools und „Rollback“-Funktionen.

• Inline-Metadaten-Tagging zur Beschleunigung der KI/ML-Datenverarbeitung, Bereitstellung von Echtzeit-Datenanalysen, schnelle Erstellung von Data Lakes mit Data Tagging sowie Automatisierung von Datenpipelines und Workflows.

• Echtzeit-Überwachung des Systemzustands, ein sicheres Online-Portal bietet vielfaltige Metriken u.a. zur Leistung und Kapazitätsentwicklung durch Verbindung mit der cloud-basierten Quantum AI-Operations-Software.

Bildquelle: Quantum Corp., Myriad Cluster Architecture, Product Brief

Beitrag als Podcast hören (Hinweis: Im Kasten nach unten scrollen, um auf den Player zuzugreifen):

Anmerkungen zur Ankündigung: Bei der Speicherung mit Hilfe verteilter Dateisysteme wird im Kern meist ein paralleles Filesystem verwendet, um mehrere Speicherknoten logisch über einen gemeinsamen Namensraum zusammenzufassen und als Speicherpool mit hoher Bandbreite parallel für n-Hosts bereitzustellen. Der Term Objektspeicher bezieht sich dabei auf Systeme und Software, die Daten als Objekte abspeichern und Clients über RESTful (HTTP-) APIs wie S3 bedienen.

Auch bei Myriad sind die Daten und Metadaten auf mehrere Knoten im Cluster verteilt, um Verfügbarkeit, Ausfallsicherheit und Datenschutz (selbstheilend, erasure coding etc.) zu gewährleisten und hohen Durchsatz und Kapazität (skalierbare Erweiterung / Auslastung) linear bereitzustellen.

Myriad-Software nutzt darüber hinaus jedoch ein optimiertes NVMe-Flash-Protokoll-und RDMA als Netzwerkprotokoll über 100 GbE mit NVMe Storage Nodes dazu, eine konsistente I/O-Leistung bei niedriger Latenz für unstrukturierte Workloads in skalierbarer Leistung bereitstellen zu können (Zero-touch Storage- und Netzwerkmanagement). Darüber hinaus sind weitere Punkte von Bedeutung:

1. Anstelle von File-Locking, das System-CPU plus Speicherressourcen und damit Performance kosten kann, verwendet Myriad ein neues intelligentes "Lock Free" Design, um Schreiblatenzen zu reduzieren. Die Myriad-Software verwendet speicherseitig ein erweitertes NVMe-Protokoll, das Aufgaben von der RNIC-CPU auf die leistungsstärkere Speicherknoten-CPU verlagert. Dadurch kann laut Entwickler die Latenzzeit sowohl für Schreib- als auch für Lesevorgänge reduziert werden. Myriad nutzt ferner einen globalen, target-seitigen Lesecache, um die Lese-Latenzzeit weiter zu reduzieren.

2. Das wesentliche Element eines Myriad-Systems ist laut Entwickler der transaktionale Key-Value Store als zentrales Repository für alle Daten und Metadaten. Diese Komponente ist über alle Speicherknoten in einem Myriad-Cluster verteilt und skaliert linear, wenn neue Knoten hinzugefügt werden. Sein Redirect-on-Write-Charakter unterstützt danach automatisch Snapshots und Rollback, und da er ohne File-Locking arbeitet, umgeht er einen häufigen Konfliktpunkt in gemeinsam genutzten (NAS) Speichersystemen.

Bildquelle: Quantum Corp., Myriad Software Architektur, Product Brief

Bildquelle: Quantum Corp., End-to-End Solutions Across the Unstructured Data Lifecycle

Kommentarauszug Brian Pawlowski, Chief Development Officer bei Quantum Corp.: „Um mit dem Datenwachstum Schritt zu halten, hat die Branche ihre Speicherprobleme bisher mit Hardware gelöst. Aufbauend auf den Erfahrungen und Rückmeldungen von Kunden, Partnern und Branchenanalysten, haben wir mit Myriad einen völlig anderen Ansatz gewählt. Das Ergebnis ist die Architektur, die ich schon seit 20 Jahren bauen wollte. Myriad ist eine unglaublich einfache, anpassungsfähige Speichersoftware für eine unvorhersehbare Zukunft.“

*Quelle: Video von IDC (sponsored by Quantum): Unstructured Data and Next-Gen Applications, März 2023. Link > https://share.vidyard.com/watch/YuTcxCYDEffGWSpBUodZns

**Quelle 2: IDC WW File and Object Based Storage Market Update and Forecast, Dezember 2022 (ausgenommen sind demnach Einnahmen für gemeinsam genutzte File- und Objektbasierte Speicherinfrastrukturen, die für die Multi-Tenant-Nutzung in Public Clouds konzipiert sind).

Querverweis:

Unser Blogpost > Verteilte Filesysteme und Objektspeicher: Trend zu mehr Datenschutz und Konsolidierung

Unser Beitrag > Energieeffiziente Datenspeicherung im Rechenzentrum. Auf was ist zu achten?

Unser Beitrag > Active Scale Cold Storage Speichersoftware von Quantum mit 2D-Löschkodierung