Starnberg, 07. Febr. 2024 - (ex-Red Hat) Ceph Open-Source-Software Speicherplattform mit NVMe/TCP; latenzarme Datenübertragung zwischen Storage, Server und Clouds…
Zum Hintergrund: Gartner prognostiziert in seinem Bericht "Top Trends in Enterprise Data Storage 2023", dass (Zitat) „große Unternehmen bis 2028 die Kapazitäten für unstrukturierte Daten an ihren Standorten, am Netzwerkrand und in der öffentlichen Cloud im Vergleich zu Mitte 2023 verdreifachen.“ Damit wachsen die Anforderungen, Datei- und Objektdaten auf einer möglichst konsolidierten Speicherplattform für unstrukturierte Daten - zusätzlich zum bisherigen Blockstorage - verwalten zu können. Aufgrund der Fähigkeit von Software-defined Storage (SDS) hinsichtlich Skalierbarkeit und Flexibilität, angeschlossene Speicherressourcen unabhängig von der zugrunde liegenden Hardware bereitstellen zu können, wird dieser Lösungsansatz künftig einen breiteren Raum bei Planung und Betrieb von hybriden IT-Infrastrukturen einnehmen können.
Besonders aktuelle Anwendungsfälle wie generative KI wirken dabei als Katalysator (unstrukturierte Daten wie Texte, Bildern und auch Videos sind eine wachsende Quelle für das Training generativer KI-Modelle). Im Umfeld von KI-Anwendungsszenarien ist idealerweise deshalb eine zentrale Speicherverwaltung von Vorteil, wenn damit die Datenaufnahme beschleunigt, Daten klassifiziert, Metadaten effizient verwaltet und die wachsende Menge an unstrukturierten Daten - sowohl in der Cloud also auch vor-Ort - kosteneffektiv bereitgestellt werden kann.
IBM Storage Ceph als SDS-Plattform ist in der Lage, die Speicherressourcen von der zugrunde liegenden Hardware zu abstrahieren, was eine dynamische Zuweisung und bessere Nutzung des Datenspeichers erlaubt. Dies erhöht die Flexibilität bei der Anpassung an sich verändernde Geschäftsanforderungen als auch bei der Skalierung von Rechenleistung und Kapazität, wenn neue Anwendungs-Workloads eingeführt werden.
Die selbstheilende und selbstverwaltende Ceph-Plattform wurde entwickelt, um einheitliche Datei-, Block- und Objektspeicherdienste (unified) in großem Umfang auf Industrie-Standard-Hardware (x86) bereitzustellen. Der Unified Storage Ansatz stellt auch eine Brücke von Legacy-Anwendungen zu einer gemeinsamen Verwaltungsplattform zur Verfügung, um Datei- oder Blockspeicher neben Objektspeicher Software-definiert (Appliance-Ansatz) bereitzustellen. IBM Storage Ceph ist laut Anbieter für große Einzel- und Multisite-Bereitstellungen optimiert und kann effizient skaliert werden, um auch Hunderte von Petabytes an Daten und Dutzende Milliarden Objekte zu unterstützen, was für herkömmliche als auch generative KI-Workloads entscheidend sein kann.
Schneller Datenzugriff mit NVMe über TCP
Im letzten Jahr hat IBM mehrere Updates für Ceph eingeführt, darunter zuletzt IBM Storage Ceph 7.0. Der aktuelle Ceph-Plattform-Update bereitet auf NVMe/TCP-Funktionen vor, die eine schnellere Datenübertragung zwischen Speichergeräten, Servern und Cloud-Plattformen ermöglichen sollen, wobei die niedrigen Latenzzeiten und die hohe Bandbreite von NVMe beibehalten werden. Anwendungen, die einen sehr schnellen Speicherzugriff (IOPS) erforderlich machen, wie Datenbanken, Data-Analytic-Apps etc. sollten davon direkt profitieren.
NVMe/TCP vereinfacht zudem die Infrastruktur aufgrund der Kompatibilität mit bestehenden Investitionen in herkömmliche Netzwerktechnologie. Die Vorteile unterstützen damit auch bei der Einführung eines softwaredefinierten Ansatzes.
NVMe/TCP kann mit Ceph benutzt werden, um die Lücke zwischen herkömmlichem Blockspeicher- und scale-out-Architekturen zu schließen. Mit NVMe/TCP läßt sich z.B. Ceph mit VMware integrieren, um Cloud-Architekturen im on-premise Rechenzentrum zu replizieren sowie bei Bedarf komplexere SAN-Netzwerke bzw. iSCSI zu ersetzen (VMware unterstützt seit vSphere 7.0 das NVMe-TCP-Protokoll). Falls die Flexibilität von NFS nicht benötigt wird, bietet sich für performancekritische Workloads im Linux-Umfeld hier NVMe/TCP an.
Weitere neue Funktionen von IBM Storage Ceph 7.0 betreffen (Quelle, IBM):
- SEC- und FINRA-Konformitätszertifizierung für WORM mit Objektsperre, um WORM-Konformität für Objektspeicher bereitzustellen
- NFS-Unterstützung für den Zugriff auf CephFS-Dateisysteme für nicht-native Ceph-Clients
IBM Storage Ceph unterstützt Data Lakehouse und KI/ML-Open-Source-Frameworks, zusätzlich zu traditionellen Workloads wie MySQL und MongoDB auf Red Hat OpenShift oder RedHat OpenStack. Dies ist laut Anbieter einer der Gründe, warum 768 TiB Rohkapazität von IBM Storage Ceph in watsonx.data enthalten ist. "watsonx.data" ist IBM’s optimierte Data-Lakehouse-Architektur für Daten-, Analyse- und KI-Workloads.
Abb: Data Lake und Data Lakehouse mit IBM watsonx.data und weitereren KI-Workloads (Bildquelle: IBM)
(1) Quelle / Link > Weitere Details zu den o.g. Funktionen finden sich dazu in IBM's Storage Community unter diesem externen Link >
https://community.ibm.com/community/user/storage/blogs/marcel-hergaarden/2023/12/08/ibm-storage-ceph-70-released-ga?CommunityKey=1142f81e-95e4-4381-95d0-7977f20d53fa
Watsonx.data ermöglicht Unternehmen die Skalierung von KI-Workloads unter Verwendung aller relevanten Unternehmensdaten, unterstützt durch Abfragen, Governance und offene Datenformate für den Zugriff und die gemeinsame Nutzung. Die Plattform basiert auf Open-Source-Technologien, einschließlich Presto und Iceberg. IBM Storage Ceph ist hier die Speicherinfrastruktur zur On-Premises-Bereitstellung von watsonx.data.
Querverweis:
Unser Beitrag > IBM Storage Scale System 6000 Ankündigung adressiert datenintensive Anwendungen und KI
Unser Beitrag > Red Hat Enterprise Linux 9.3 und 8.9: Neue Funktionen zu Container-Management und Storage