Beschleunigung der Leistung von KI-Pipelines. SyncEngine bietet automatisierte Datenmobilität innerhalb von fragmentierten Umgebungen und für "Remote First" Unternehmen...
Hintergrund
VAST Data hat am 18. Nov. 2025 mit VAST SyncEngine eine neue Funktionalität seines VAST AI OS Betriebssystems vorgestellt. Die Engine soll als universeller Datenrouter fungieren und kombiniert dazu eine Hochleistungs-Onboarding-Lösung mit einem globalen Katalog, um den Datenfluss in KI-Pipelines zu beschleunigen. SyncEngine ist laut Anbieter für VAST-Kunden ohne Aufpreis erhältlich und schließt die Lücke zwischen dem Auffinden und der unmittelbaren Verfügbarkeit verteilter unstrukturierter Datensätze und SaaS-Plattformen in großen und sehr großen Umgebungen. Unternehmen sollen dadurch ihre Infrastruktur vereinfachen und schneller von Rohdaten zu praxistauglichen KI-Ergebnissen gelangen können.
Unternehmen beginnen KI in großem Maßstab einzusetzen und stoßen dabei oftmals auf neue Engpässe in der Infrastruktur. Die größte Einschränkung liegt aber fast immer nicht bei der Modellkomplexität oder dem GPU-Angebot. Das Problem liegt fast immer bei den Daten selbst – verstreut über veraltete Datei- und Objektsysteme, isoliert in SaaS-Anwendungen für Unternehmen und unsichtbar für KI-Pipelines. Diese Daten-Fragmentierung erzeugt laut VAST Data das „Last-Mile"-Problem: "Wertvolle Informationen bleiben unerreichbar und IT-Teams müssen kostspielige Drittanbieter-Tools miteinander integrieren, nur um Daten zu finden, aufzubereiten und zu migrieren."
SyncEngine führt Katalogisierung, Migration und Transformation zu einer (kostenlosen) Funktionalität in VAST AI OS zusammen. Im Ergebnis können dann schnellere Erkenntnisse, niedrigere Gesamtbetriebskosten (TCO) und eine massiv vereinfachte KI-Einführung stehen.
SyncEngine als Bestandteil der Datenplattform-Services im VAST AI OS-Betriebssystem: Die Engine macht verteilte Daten durchsuchbar, verwertbar und bereit für den KI-Einsatz. Dadurch beschleunigt SyncEngine die Geschwindigkeit von KI-Anwendungen, ohne dass laut Entwickler Migrationstools von Drittanbietern oder komplexe manuelle Skripte erforderlich sind. Zentrale Eigenschaften von SyncEngine betreffen (Quelle, Anbieter):
Hochleistungsfähige Datenmigrationsdienste: Speziell für massive Datei- und Objekt-Datensätze sowie Enterprise-SaaS-Plattformen entwickelt. Höchste Leistung von der Dateneinspeisung bis zur Erkenntnisgewinnung.
Metadaten-Indexierung auch bei höchster Skalierung: Mithilfe der VAST DataBase sollen sich Hunderte von Milliarden Files und Objekte katalogisieren und durchsuchen lassen.
Beliebiger Durchsatz beim Einspeisen von Daten: Die Grenze bildet danach nur die Leistung der Quell- und Zielsysteme, so dass der theoretische Durchsatz der verfügbaren Leitungskapazität auch tatsächlich erreicht wird.
Massiv parallele, linear skalierende I/O-Operationen: Unternehmen können die Skalierung der Leistung exakt im Voraus planen, indem sie weitere Knoten hinzufügen; der Durchsatz lässt sich dadurch ohne Flaschenhälse vervielfachen.
Mithilfe von SyncEngine können VAST-Kunden danach einen in Echtzeit durchsuchbaren Katalog über traditionelle Datei- und Objektsysteme sowie Unternehmensanwendungen wie Confluence, Microsoft SharePoint, Google Drive und Salesforce hinweg erstellen.
SyncEngine erzeugt hierzu einen globalen Multi-Namespace-Katalog mit tiefer Metadaten-Indexierung. Milliarden unstrukturierter Dateien und Objekte werden vollständig durchsuchbar, Daten sofort auffindbar und produktiv nutzbar.
Daten lassen sich in großem Maßstab mittels eingebauter Integritätsprüfung, automatischer Jobwiederherstellung und bidirektionalem Datenfluss migrieren und synchronisieren. SyncEngine unterstützt laut Anbieter ein „sauberes kontinuierliches Onboarding aus bestehenden POSIX- und S3-kompatiblen Quellen sowie Unternehmensanwendungen“ und soll instabile und selbst entwickelte Skripte oder nicht integrierte Datenmigrationstools überflüssig machen können.
Pipelines lassen sich mit Hilfe der InsightEngine und DataEngine befüllen. Die Engines bereiten Rohdaten mittels Chunking und Vektorisierung für die KI-Nutzung auf, so dass beliebige LangChain-basierte Anwendungen wie Retrieval-Augmented-Generation- (RAG)- oder Agentic-AI-Workloads aus unstrukturierten Daten Erkenntnisse gewinnen können.
SyncEngine versorgt Pipelines mit Daten aus verschiedensten Quellen, ohne eine vollständige Workload-Migration zu erfordern, und verwandelt chaotische isolierte Daten ohne Verzögerung in leistungsstarke Intelligenz.
SyncEngine kann teure Stand-alone-Tools und komplexe Open-Source-Alternativen ersetzen. Die Engine vereinfacht die Daten-Katalogisierung und -migration mit integrierter Intelligenz massiv. Kunden profitieren von einem konsolidierten Stack ohne zusätzliche Lizenzkosten, was Komplexität, Betriebsaufwand und Gesamtbetriebskosten reduziert.
Abb.: Aus „Understanding the Software Stack of the VAST AI Operating System“, Solution Brief. Bildquelle (VAST Data).
Anmerkung: DASE = Disaggregated and Shared Everything. Siehe dazu auch > https://storageconsortium.de/ki-und-datenverarbeitung-kritische-komponenten-einer-datenpipeline-f%C3%BCr-effiziente-ki-projekte
Kommentarauszug Nathan Reiczyk, Head of Central Europe bei VAST Data: „Datenchaos ist der stille Killer der KI- und HPC-Produktivität. Wertvolle Informationen sind über isolierte Systeme verstreut, was den Rechenressourcen genau den Treibstoff entzieht, den sie für Ergebnisse benötigen. SyncEngine bereitet dieser komplexen Situation ein Ende… Die wundersame Vermehrung von Rechenzentren wird eingedämmt, der Energieverschwendung Einhalt geboten und der deutschen Industrie eröffnet sich ein direkter Weg von fragmentierten Daten zu intelligenten Ergebnissen.“.
Fazit der Ankündigung
Mittels SyncEngine wird ein einheitlicher globaler Namespace erzeugt und Active-Active-Replikation über Petabyte-Umgebungen hinweg möglich. Dadurch lassen sich Daten ohne Unterbrechung migrieren. Unternehmen ihre Datenbestände über Legacy-Systeme und moderne Geschäftsanwendungen hinweg vereinheitlichen und Daten bereitstellen, die aufbereitet sind für die Nutzung durch KI-Anwendungen.
Die Engine soll laut Entwickler in der Lage sein, auch Milliarden von Dateien zu indexieren und Multi-Petabyte- bis Exabyte-Datensätze zu verwalten. Unternehmen können dadurch ohne kostspieliges Replatforming und teure Änderungen an der Infrastruktur Daten suchen, synchronisieren und aufbereiten, wo auch immer sie abgelegt sind. SyncEngine ist laut Anbieter ab sofort für alle VAST-Kunden erhältlich.
Querverweis:
Unser Beitrag > VAST AI Operating System Ankündigung: KI-Agenten stehen im Mittelpunkt
Unser Beitrag > Wie Bedrohungsakteure KI nutzen: Aktueller Google Bericht „AI Threat Tracker“ verfügbar
Unser Beitrag > Kyndryl Readiness Report 2025: KI mit ersten Ergebnissen, doch Lücken bei Technologie und Fachkräften