Fremont (CA), Starnberg, 28. Sept. 2020 - Neuerungen in den Bereichen Open-Source-Software, Entwickler-Community und konvergenter Infrastruktur; CORTX auf GitHub...
Zum Hintergrund: Seagate Technology hat letzte Woche offiziell eine Open-Source-Objektspeichersoftware mit einer darauf basierenden Referenzarchitektur und entsprechenden Entwickler-Community vorgestellt. Public Cloud Hyperscale-Speicherinfrastrukturen sind auf kostengünstige Massenspeichersysteme angewiesen, um die Kosten der Datenspeicherung zu reduzieren. Mit der heutigen Ankündigung bringt Seagate dazu eine Lösung mit offener Architektur auf den Markt: eine Open-Source-Software zum kosteneffektiven Datenmanagement in Verbindung mit einer anbieter-unabhängigen Referenzarchitektur. Ferner hat das Unternehmen im Rahmen der Veranstaltung erstmals ein Lyve Drive Rack gezeigt, das mit 20 TB großen HAMR-Festplatten ausgestattet ist. Die Auslieferung von Lyve Drive Rack und 20 TB HAMR-Festplatten soll voraussichtlich im Dezember starten.
Mit diesen drei Lösungskomponenten möchte das Unternehmen den massiven Anstieg und die zunehmende Verbreitung unstrukturierter Unternehmensdaten adressieren. Die Ankündigung ist Teil des erstmalig durchgeführten virtuellen Datasphere-Events von Seagate. Hier ein erster Überblick zur Ankündigung:
1. CORTX Software
CORTX ist eine hardware-unabhängige Open-Source-Objektspeichersoftware. Sie bietet Entwicklern und Partnern Zugang zu Datenspeicherarchitekturen, die für hohe Speicherkapazität optimiert wurden. CORTX eignet sich laut Entwickler beispielsweise für künstliche Intelligenz, maschinelles Lernen, Hybrid Cloud, den Netzwerkrand, High-Performance Computing und vieles mehr. CORTX ist eine mit der Community entwickelte Open-Source-Software, die den Wunsch der Kunden wiederspiegelt, nicht an einen Anbieter gebunden zu sein. Einige Early Adopter haben die Software demnach bereits getestet und die CORTX-Community vor dem Launch unterstützt.
Wissenschaftliche Einrichtungen, die auf Datenspeicher in großem Maßstab angewiesen sind, haben laut Anbieter die Einführung von CORTX begrüßt. Zu weiteren Early Adoptern von CORTX zählen u.a. die Toyota Motor Corporation, Fujitsu Limited und weitere Unternehmen (bereits Ende der 90er-Jahre arbeitete Seagate als Mitglied des Industriekonsortiums, das die erste Objektspeicher-Spezifikation erstellt hat: den SNIA OSD-Standard).
-
Die französische Alternative Energies and Atomic Agency (CEA) zählt zu den Early Adoptern und testet seit einigen Jahren eine Entwicklungsversion von CORTX. Laut CEA hat sich „die jetzige Version als äußerst leistungsstarker und flexibler Objektspeicher erwiesen und kann sehr effektiv für die Implementierung umfangreicher Datenspeicher genutzt werden“, so Jacques-Charles Lafoucriere, Program Manager von CEA. „CORTX funktioniert sehr gut mit Speicherwerkzeugen und vielen verschiedenen Speicherschnittstellen. Wir haben CORTX erfolgreich eingesetzt, um eine Schnittstelle für ein paralleles Dateisystem (pNFS) und hierarchische Speicherverwaltungstools zu implementieren. Die CORTX-Architektur ist zudem mit KI- und DL-Anwendungen wie TensorFlow kompatibel.“
-
Auch die UK Atomic Energy Authority (UKAEA), eine führende Institution in der Fusionsforschung, hat CORTX frühzeitig getestet. Zitat: „CORTX steht für ein ganz neues Konzept“, so Dr. Debasmita Samadder, Exascale Algorithms Specialist bei UKAEA. „Es ist äußerst spannend, unsere Anwendung mit diesem einzigartigen Speichersystem für Objektdaten auszuprobieren und zu sehen, welche Leistung zu erzielen ist.“
-
Gary Grider vom Los Alamos National Lab zeigte sich erfreut über CORTX: „Als HPC Division Leader bin ich ständig auf der Suche nach neuen Möglichkeiten, um Kosten und Komplexität unserer verteilten Datenplattformen zu reduzieren. Ich bin auf die Weiterentwicklungen von Seagate an der CORTX-Software gespannt und zuversichtlich, dass die Lösung die Kosten der Datenspeicherung im Exabyte-Bereich senken wird. Wir werden die Open-Source-Software CORTX weiter im Auge behalten und uns in der dazugehörigen Community einbringen, denn wir haben wie Seagate das Ziel, wirtschaftlich effiziente Speicher für höchste Skalierbarkeit und Robustheit zu optimieren.“
2. CORTX Community
Die CORTX Community besteht aus einer Gruppe von Open-Source-Entwicklern und Forschern, die zusammen an Massenspeichersystemen für die weltweit rasant wachsenden Datensätze arbeiten. CORTX kann ab sofort auf GitHub hier heruntergeladen und weiterentwickelt werden. „Seagate stellt eine offene Plattform mit sämtlichen Funktionen und Roadmaps – von der Community für die Community – bereit“, sagt Jeff McAffer, Senior Director of Product bei GitHub. „Und genau unter solchen Voraussetzungen entstehen Innovationen.“
Abb. 1: High-Level-Architektur und Erweiterungsmöglichkeiten von CORTX (Bildquelle: Solution Brief, CORTX / Seagate).
Beschreibung zur Abbildung: Entwickler können zusätzliche Protokolle und Schnittstellen hinzufügen, indem sie modulare Schnittstellen in libMotr schreiben, um S3-Server- und NFS-Server-Schnittstellen zu ergänzen. CORTX bietet auch eine einfache Schnittstelle, über die Kernmodularität in den Datenpfad eingefügt werden kann. Mit einer Low-Level-Schnittstelle namens File Data Manipulation Interface (FDMI) können Entwickler über einen Publish-Subscribe-Mechanismus Module hinzufügen, um den CORTX-Datenpfad abzufangen und zu erweitern oder sogar zu transformieren (Quelle: CORTX / Seagate).
Abb. 2: Die Rolle von CORTX im IT 4.0 Ecossystem (Bildquelle: Seagate/CORTX)
Dazu Bryan Jorgensen, Vice President der Data Platforms Group von Intel: „Intel plant eine Zusammenarbeit mit der CORTX-Community, um die bestehende Open-Source-Technologie mit unseren entsprechenden Plattformfunktionen zu verbinden und zu optimieren. Dazu gehören der persistente Speicher von Intel Optane, die Beschleuniger von Intel QuickAssist und das DAOS-Dateisystem. Wir arbeiten auch mit Seagate daran, diese technischen Innovationen in das für hohe Kapazität optimierte Referenzdesign Lyve Drive Rack zu integrieren.“ Zitatauszug Shailesh Manjrekar, Head of AI and Strategic Alliances bei WekaIO: „Wir schätzen Seagates Expertise und freuen uns darauf, Teil der CORTX-Entwicklung zu sein. Durch die Nutzung unseres transformativen Weka AI-Frameworks möchten wir End-to-End-Lösungen schaffen, in der die Spitzenleistung von WekaFS und die hohe Kapazität und Robustheit von CORTX vereint sind.“
3. Lyve Drive Rack
Lyve Drive Rack ist eine konvergente Speicherinfrastruktur, die Nutzern eine gebrauchsfertige Referenzarchitektur bereitstellt, mit der sie CORTX nutzen und ihre eigene, für hohe Speicherkapazität optimierte private Cloud erstellen können. Die Lösung macht Hyperscale-Speicherarchitekturen allgemein zugänglich. Außerdem soll sie eine kostengünstige und schnelle Bereitstellung des Objektspeichers ermöglichen. Die Kapazität startet bei 1,34 PB.
Abb. 3: Lyve Drive Rack (Bildquelle: Seagate)
Anmerkung: Lyve Drive Rack umfasst nach Entwicklerangaben Seagate ASICs, speziell ausgelegt als Erasure-Coding-Engine für optimierte Leistung-/ Effizienz. Die Seagate ADAPT-Software beschleunigt die Wiederherstellung nach Festplattenausfällen und verbessert die Erasure-Coding-Fähigkeiten.
Lyve Drive Rack - ausgestattet mit 20 TB großen HAMR-Festplatten - veranschaulicht den schnellen gemeinsamen Einsatz von CORTX und Lyve Drive Rack mit Festplatten mit hoher Kapazität für Hyperscale-Anwendungen. Die Auslieferung von Lyve Drive Rack und den 20 TB HAMR-Festplatten soll laut Seagate voraussichtlich im Dezember diesen Jahres starten. Der US-Rechenzentrums-Anbieter DC BLOX hat CORTX und Lyve Drive Rack vorab getestet: „DC BLOX schätzt Seagate als führenden Anbieter von Lösungen, die den schnell wachsenden Herausforderungen hinsichtlich Speicherung und Verwaltung umfangreicher Daten gewachsen sind, so wie das CORTX-Objektspeichersystem”, sagt Peyton McNully, Chief Cloud Architect bei DC BLOX.
Querverweise:
Unser Beitrag > DataOps: laut Seagate Rethink Data Report werden 68% der Unternehmensdaten nicht genutzt
Unser Blogpost > Budgetgerechtes Data Management mit Tiered Cloud Storage