Verteilte Filesysteme & Objektspeicher: Kommentar zum Gartner Magic Quadrant 2022 Update

Starnberg, 02. Nov. 2022 - Dell (PowerScale), IBM (Spectrum Scale, COS), Pure Storage (FlashBlade), Qumulo (File Services) und Scality (Ring) im „Leaders“ Quadrant gelistet...

Um was geht es hier? Eine der drängenden Fragen, mit der sich IT-Infrastruktur- und Betriebsverantwortliche gerade beschäftigen ist, wie sich die Vorteile von (hybriden) Cloud-Modellen nutzen und gleichzeitig die notwendige Ausfallsicherheit und Kontrolle über ihren zentralen IT-Betrieb bewahren lassen - im Zusammenhang mit sicherheitsrelevanten Überlegungen zu Cyberbedrohungen - und dies bei stetig steigenden Datenmengen (core- to edge) gerade im File- und unstrukturierten Datenspeicher-Umfeld. Im Zusammenhang mit verteilten Dateisystemen und Objektspeichern steht jetzt ein Update des Gartner Magic Quadrant for Distributed File Systems and Object Storage (Published 19 October 2022 - ID G00760026 - By Julia Palmer, Jerry Rozeman, Chandra Mukhyala, Jeff Vogel; Aug. 2022 / Revised on 31 October 2022) zur Verfügung. (1) Hier eine kurze Zusammenfassung zum Update:

Challengers (links oben) im Quadrant sind Huawei (OceanStor Pacific), Hitachi Vantara (HCP), VAST (Data) und Cloudian (HyperStore).
Visionaries (rechts unten) sind NetApp (StorageGRID), Nutanix (Cloud Platform Files-/Object), Red Hat (Ceph), WEKA (FS), Quantum (ActiveScale) und Cohesity (SmartFiles).
Niche Players (links unten) sind DDN (EXAScaler) und Inspur (AS13000G6 series).

Aufgrund der rasch wachsenden unstrukturierten Datenbestände (laut Gartner weltweit rund 30% p.a.) wachsen ja auch die Herausforderungen für Unternehmen & Organisationen, diese kosteneffektiv und sicher zu speichern und zu verwalten. Gartner selbst definiert den Markt für verteilte Dateisysteme und Objektspeicher als „Software- und Hardware-Appliance-Produkte, die Objekt- und/oder Scale-out-Technologien für verteilte Dateisysteme anbieten, um die Anforderungen an das Wachstum unstrukturierter Daten zu erfüllen.“

Mehr noch als z.B. im Bereich von Block-Storage ist mit scale-out File- und Object Storage damit ein sehr dynamischer Markt entstanden, in dem sich über die Zeit neben etablierten Größen eine Reihe von hochspezialisierten Anbietern wie Startups etablieren konnten.

Sowohl neue als auch etablierte Speicheranbieter entwickeln bzw. liefern einheitliche, skalierbare Speicher-Cluster-Dateisysteme und Objektspeicherprodukte, um die Kosten-, Flexibilitäts- und Skalierbarkeitsbeschränkungen in herkömmlichen, weniger skalierbaren Speicherumgebungen wie NAS zu adressieren.

Die meisten der heute verfügbaren Lösungen und in dem Report sind auf Basis software-definierter Plattformen (SDS) verfügbar, die sowohl die Flexibilität als auch nötige Skalierbarkeit mitbringen, Multi-Petabytes an Daten bereitzustellen. SDS kann laut dem Report dazu auch hybride Cloud-Workflows mit der Integration von IaaS nutzen, um Gesamtbetriebskosten zu senken und die Datenmobilität zu verbessern.

Bei der Speicherung mit verteilten Dateisystemen wird prinzipiell ein paralleles Dateisystem verwendet, um mehrere Speicherknoten logisch über einen gemeinsamen (globalen) Namensraum zusammenzufassen und als Speicherpool mit hoher Bandbreite (parallel für mehrere Hosts) bereitzustellen. Der Begriff Objektspeicher bezieht sich dabei auf Geräte und Software, die Daten als Objekte speichern und Clients über RESTful HTTP-APIs wie S3 bedienen.

Daten und Metadaten sind danach auf mehrere Knoten im Cluster verteilt, um Verfügbarkeit, Ausfallsicherheit und Datenschutz (selbstheilend, erasure coding etc.) zu gewährleisten und den einen hohen Durchsatz und eine hohe Kapazität (skalierbare Erweiterung / Auslastung) linear bereitzustellen.