ISC, Starnberg, 10. Juni 2024 - Im Gegensatz zu anderen Lösungen wird keine zusätzliche Datenbankschicht benötigt; schnellere Abfragen und Ressourcen-Optimierungen…
Zur Ankündigung: Quobyte hat im Rahmen der ISC 2024 eine leistungsfähige Dateiabfrage-Engine für groß angelegte Speichercluster und KI-Workloads vorgestellt. Sie soll Anwendern die Abfrage von Dateisystem-Metadaten mit hoher Geschwindigkeit ermöglichen und wurde laut Entwickler für Umgebungen mit massiven Datensätzen konzipiert. (1) Die verteilte File Query Engine erweitert das Angebot an Storage-Services innerhalb der Software-Definierten Datei- und Objectspeicherplattform des Unternehmens.
Die neue File Query Engine bietet danach eine Reihe von Funktionen, darunter die Möglichkeit, benutzerdefinierte Metadaten für KI/ML-Training abzufragen, so dass Benutzer Dateien direkt mit Daten beschriften können, anstatt kleine „Metadaten-Dateien“ zu verwalten. Darüber hinaus können Administratoren schnell Fragen beantworten, wie z. B. die Identifizierung von speicherplatz-intensiven Cold Files oder das Auffinden von Dateien, die bestimmten Benutzern gehören. Die File Query Engine ersetzt das langsame Durchsuchen der Dateisystemstruktur ('find') und bietet laut Anbieter eine schnellere und effizientere Alternative für große Datenmengen.
Der Schlüssel zur Leistung der File Query Engine liegt in der Integration mit Quobytes verteiltem und repliziertem Key-Value-Store, der Metadaten speichert. Im Gegensatz zu anderen Produkten soll die File Query Engine hier keine zusätzliche Datenbankschicht benötigen, was zu schnelleren Abfragen und erheblichen Ressourceneinsparungen führt. Die Abfragen werden parallel auf allen Metadatenservern ausgeführt, um schnelle Scans über den gesamten Cluster oder ausgewählte Volumes zu ermöglichen. Die Engine arbeitet nie mit veralteten Daten.
Abb.: Automatisiertes richtlinienbasiertes Datenmanagement (Bildquelle Quobyte, Inc.).
Das Datenmanagement in Quobyte wird über die Policy Engine gesteuert. Richtlinien definieren, wo Daten gespeichert werden, wann und welche Daten auf kostengünstigere Medien verschoben werden oder den Lebenszyklus von Dateien wie Unveränderlichkeit, automatischer Ablauf usw. (Quelle: Anbieter). Externer Link > https://www.quobyte.com/product/
(1) Kommentar Bjorn Kolbeck, CEO, Quobyte: „Die File Query Engine ist ein entscheidender Vorteil für unsere Kunden. Sie rationalisiert den Prozess der Abfrage von Dateisystem-Metadaten und bietet schnelle und effiziente Ergebnisse auch für große Datensätze, KI und ML-Workloads.“
Die File Query Engine ist Teil des Quobyte Release 3.22 und laut Anbieter automatisch und ohne Konfigurationsarbeit verfügbar. Benutzer können Datei-Metadaten-Abfragen mit dem Kommandozeilen-Tool „qmgmt“ ausführen, das die Ausgabe in CSV- oder JSON-Formaten unterstützt. Zusätzlich können Abfragen über die Quobyte-API initiiert werden, was zu mehr Flexibilität und Benutzerfreundlichkeit führen kann.
Querverweis:
Unser Beitrag > Energieeffiziente Big Data Softwareentwicklung mit Green Coding und Data Streaming
Unser Beitrag > Storage und NFS: VAST Data Kommentar von Sven Breuner zu KI- und HPC-Workloads