Partnerschaft für flächendeckende KI-Datenplattform. Kombination von Cloudera Lakehouse Data Services mit VAST KI-Betriebssystem auf Basis NVIDIA Data Platform-Referenzdesign…
Hintergrund
Traditionelle IT-Architekturen wurden nicht für kontinuierliche KI-Pipelines entwickelt, die Datenaufbereitung, Training, Inferenz und Analyse umfassen. GPU-Engpässe, bei denen (teure) Beschleuniger-Cluster ungenutzt auf Daten warten, sind dann die Folge.
Ankündigungsübersicht
Die (am 15. Juli 2026) vorgestellte gemeinsame Lösung kombiniert Cloudera's Lakehouse-Datendienste mit dem KI-Betriebssystem von VAST auf Basis des NVIDIA Data Platform-Referenzdesigns. Damit sollen GPU-Engpässe reduziert und KI-Lösungen beschleunigt werden.
Die einheitliche KI-Fabrik stellt eine skalierbare Produktionsumgebung bereit, mit deren Hilfe Daten kontinuierlich erfasst, aufbereitet, verwaltet und für Training und Inferenz von KI-Modellen bereitgestellt werden. Durch diesen Ansatz können Unternehmen schneller von isolierten KI-Experimenten zu produktionsreifen KI-Systemen mit optimierter Auslastung, Leistung und Rentabilität übergehen.
Ankündigungsdetails
Die Lösung bietet laut Entwickler ein konsistentes KI-Betriebsmodell und steht für On-Premise-Umgebungen und Public Clouds zur Verfügung. Gleichzeitig können Organisationen KI-Dienste dort einsetzen, wo Leistungs-, Compliance- und Kostenanforderungen am besten erfüllt werden. Dazu sind Cloudera’s nextGen. containerbasierte Datendienste in das VAST AI Operating System (OS) integriert.
Das VAST AI OS unterstützt KI-, Analyse- und geschäftskritische Datenworkloads, indem es Hochleistungsspeicher, Datenbanken und eine Global Namespace Architektur kombiniert. Die Datenplattform basiert auf dem NVIDIA AI Data Platform-Referenzdesign und hilft, ungenutzte Unternehmensdaten in KI-fähige Daten zu transformieren.
Aufbau der Enterprise AI Factory (Quelle, Anbieter):
"Die Cloudera Lakehouse-Architektur bietet portable, containerisierte Datendienste, wie Data Engineering, Streaming, Analytics, Machine Learning und KI. Diese lassen sich konsistent in Hybrid- und Multi-Cloud-Umgebungen bereitstellen.
Die VAST Disaggregated Shared Everything-Architektur (DASE) bildet die Grundlage des VAST AI Betriebssystems und stellt eine Dateninfrastruktur im Exabyte-Bereich bereit. Sie integriert Vektordatenbankdienste mit NVIDIA cuVS für GPU-beschleunigte Vektorindizierung und -suche sowie einen Hochleistungsspeicher, der für moderne GPU-Cluster und KI-Workloads optimiert ist.
Gemeinsam transformiert VAST AI OS – das auf dem NVIDIA AI Data Platform-Referenzdesign mit durch NVIDIA beschleunigter Rechenleistung basiert – latente Unternehmensdaten in aktivierte, KI-fähige Daten. Cloudera baut darauf auf und stellt Data Engineering, Analytics, Governance und KI-Dienste bereit."
Einheitliche KI-Fabrikarchitektur:
"Von der Rohdatenerfassung bis zur Modellbereitstellung
Konsistenter Betrieb in allen Rechenzentren, privaten und öffentlichen Clouds
Vermeidung von GPU-Engpässen durch Datenpipelines mit extrem hoher Bandbreite und geringer Latenz
Verbesserte Recheneffizienz durch kontinuierliche GPU-Auslastung
Höchste Speicherleistung für strukturierte, unstrukturierte und multimodale Datensätze
Sichere Private AI-Umgebungen mit Enterprise Governance und Compliance
Katalysator für private KI-Fabriken
Vollständige „Silicon-to-Application“-Lösung."
Zusammenfassung der Ankündigung:
Die Lösung kombiniert NVIDIA's KI-Infrastruktur, die NVIDIA AI Enterprise Software sowie das VAST AI OS als grundlegende Datenplattform mit den Enterprise-Daten- und KI-Services von Cloudera zu einer optimierten Lösung für private und souveräne KI.
Durch den Cloudera AI Inference Service, beschleunigt durch NVIDIA NIM Microservices, können Unternehmen KI in ihre Daten integrieren. Gleichzeitig skalieren und stellen sie beliebige Modelle, einschließlich der neuesten, offenen NVIDIA Nemotron-Modelle bereit.
Mit NVIDIA cuDF können Kunden Apache Spark-Workloads beschleunigen, um Cloudera Data Engineering-Workloads transparent voranzutreiben. Spark-Jobs können die Hochleistungsdatendienste von VAST über GPU-beschleunigte Verarbeitung nutzen und dadurch die KI-Workload-Optimierung weiter verbessern.
Fazit: Für große Unternehmen, insbesondere in stark regulierten Branchen, soll damit laut Anbieter eine vollständige, flächendeckende „Silicon-to-Application“-Lösung für die Entwicklung produktionsreifer KI-Systeme erreicht werden können.
Abb.: Cloudera Platform (Bildquelle: Cloudera).
Kommentarauszug Abhas Ricky, Chief Business Officer & GM, Applied AI bei Cloudera: „Unternehmen investieren Milliarden in GPUs, doch viele können deren Kapazität aufgrund von Datenengpässen nicht voll ausschöpfen…“.
Jeff Denworth, Mitgründer von VAST Data: „Die meisten Unternehmen verfügen bereits über die benötigten Daten für KI. Die Herausforderung besteht darin, den Wert dieser Daten zu erschließen und eine kontinuierliche Pipeline für KI-Inferenz, Feinabstimmung und Datenanalyse zu schaffen, um die nächste Generation intelligenter Anwendungen zu entwickeln“.
Die gemeinsame KI-Fabrik-Lösung ist laut Anbieter danach ab sofort verfügbar. Referenzarchitekturen, validierte Bereitstellungsmuster und branchenspezifische Lösungen sollen im Laufe dieses Jahres weiter ausgebaut werden...
Querverweis:
Unser Beitrag > Deloitte-Studie untersucht Effekte durch KI auf Unternehmen in 14 Ländern
Unser Beitrag > KI-Storage-Herausforderungen: Wie kann Speicherplatz im KV-Cache beim Einsatz großer Sprachmodelle und der Vektorsuche optimiert werden?
Unser Beitrag > Fivetran: Ausfälle von Datenpipelines kosten Unternehmen durchschnittlich drei Millionen US-Dollar pro Monat