Echtzeit-Datenstreaming für KI-, ML- und Analyse-Workloads; jetzt auch Storage-Support für klassische strukturierte Datenanwendungen wie relationale Datenbanken, ERP-/CRM und Virtualisierung…
Zum Hintergrund der Ankündigung
Durch die Bereitstellung des Datenzugriffs auf Block Storage kann VAST Data laut der Ankündigung vom 19. Febr. 2025 jetzt auch klassische strukturierte Datenanwendungen wie relationale Datenbanken, SQL oder NoSQL, ERP- und CRM-Systeme sowie Virtualisierung (VMware, Hyper-V, KVM) und containerisierte Workloads adressieren, d.h. eigentlich alle gängigen strukturierten Daten-Workloads. Rechenzentren gibt dies die Möglichkeit, Block-, Datei-, Objekt-, Tabellen- sowie Streaming-Datenzugriffe auf einer (Speicher)Systemplattform wie der von VAST zu konsolidieren. Weitere Vorteile betreffen (Quelle / VAST):
Funktionen wie Multi-Tenancy und QoS ermöglichen es , Workloads zu isolieren, Leistungsparameter zu garantieren und die Ressourcenverwaltung von virtuellen Maschinen zu vereinfachen.
Für Unternehmen, die Kubernetes, Openshift oder andere Container-Orchestrierungsplattformen nutzen, ermöglicht der Support von Block-Storage die persistente Speicherung für containerisierte Workloads.
Mit der Unterstützung von Boot from SAN lässt sich die Serverbereitstellung und -verwaltung weiter optimieren, da sie nicht mehr auf lokale Festplatten angewiesen ist.
+++ Unsere Anmerkung: Der US-Hersteller tritt im Block-Storage-Umfeld damit auch in Konkurrenz zu etablierten Enterprise Speicher-Systemanbietern (Schwerpunkt Block-/File) wie z.B. Hitachi Vantara VSP, Dell Technologies PowerMax (ex EMC), NetApp, IBM, Lenovo-Infinidat, Pure Storage, HPE Alletra, etc., sowie Storage Software definierten Plattformen wie Ceph (Red Hat / IBM) oder Quantum mit SDS Myriad (Key-Value-Store-Konzept) und weiterer Anbieter. Hintergrund ist die Strategie von VAST, nicht mehr bevorzugt im HPC-/KI-Umfeld zu agieren, sondern sich neue Marktsegmente innerhalb der kommerziellen IT-Anwendungsseite (siehe oben) zu erschließen... +++
Technische Details zu Kafka
Apache Kafka® ist eine quelloffene, verteilte Event-Streaming-Plattform, die das Event-Broker-Schema implementiert. Kafka läuft als hoch-skalierbarer fehlertoleranter Cluster von Brokern. Kafka als verteiltes System besteht aus Servern und Clients, die über ein schnelles TCP-Netzwerkprotokoll kommunizieren.
Es kann auf Bare-Metal-Hardware, virtuellen Maschinen und Containern in On-Premise- und Cloud-Umgebungen eingesetzt werden. Apache Kafka hat sich als ein De-facto-Standard-(Event)Broker für Streaming-Ereignisse etabliert, die Daten zwischen Microservices (Funktionen) in Cloud-nativen Computing-Architekturen und herkömmlichen Daten-Workflows übertragen.
*Der Event-Broker ist eine nachrichtenorientierte Middleware, die die Übertragung von Ereignissen zwischen verschiedenen Komponenten eines Systems ermöglicht und als Vermittler zwischen Herausgebern und Abonnenten fungiert. Das System verwaltet dazu Einträge in Nachrichtenwarteschlangen, die Topics genannt werden.
Clients und Dienste, die Einträge in ein Topic schreiben, verwenden die Producer-API, um in das Topic auf einem der Broker-Server zu schreiben, auf denen Kafka läuft; Dienste, die Einträge aus dem Topic lesen möchten, rufen die Consumer-API auf. Die Topic-Daten werden lokal auf den Brokern gespeichert und durch Replikation geschützt. Das Ganze wird von einer „Zookeeper“-Instanz verwaltet, die auch die Offsets (Zeiger) auf den aktuellen Eintrag in jedem Topic verfolgt.
Anmerkung: Die verteilte Platzierung von Daten ist laut Kafka für die Skalierbarkeit wichtig, da es Client-Anwendungen ermöglicht, die Daten von/zu vielen Brokern gleichzeitig zu lesen und zu schreiben.
Quelle: https://kafka.apache.org/
Quelle: VAST Data
Die VAST Data DASE Plattform als Architektur verwendet NVMe over Fabrics (NVMe-oF) als Protokoll für den Blockzugriff (nicht iSCSI, Fibre Channel oder andere Legacy SCSI-basierte Blockprotokolle). Hintergrund: NVMe-oF arbeitet mit TCP/IP (NVMe-over-TCP) und kann über Standard-Rechenzentrums-Netzwerke inzwischen mit sehr geringer Latenz betrieben werden (laut VAST so schnell wie die NVMe-oF-VAST-Cluster, die intern ohne spezielle Netzwerkkonfiguration laufen...).
Nach Angaben des Herstellers wurden die Blockprotokolle so konzipiert, dass sie die umfangreichen Implementierungen eines einzelnen VAST-Clusters unterstützen können, d.h.:
Bis zu 32.000 NVMe-Subsysteme (virtuelle Arrays)
Bis zu einer Million Volume-Elemente (aka LUNs)
Bis zu einer Million Hosts.
Zur Bereitstellung des Blockspeicher muss der Administrator laut VAST lediglich den VIP-Pool (virtuelle IP-Adresse) einrichten, den die Hosts für den Blockzugriff verwenden werden, eine Ansicht mit aktivierten Blockprotokollen erstellen, wodurch ein NVMe-Subsystem entsteht, und dann die logischen Volumes (laut VAST aus historischen Gründen LUNs genannt) innerhalb dieses Subsystems erstellen.
Der Event Broker* von VAST soll laut Anbieter im März 2025 verfügbar sein.
Querverweis:
Unser Beitrag > VAST Catalog: vereinfachtes Datenmanagement von KI und Big-Data-Analytics Anwendungen
Unser Beitrag > Warum Echtzeitanalysen von Daten in der Praxis oftmals scheitern
Unser Beitrag > Confluent mit Databricks Kooperation zur Integration von Echzeitdaten im KI-Stack