Weshalb Workload-orientierte Denkweisen beim Aufbau einer Speicherarchitektur hilfreich sind, um die erforderliche Balance zwischen verschiedenen Speichermedien und steigenden Applikationsanforderungen zu finden…
Hintergrund
Mit den raschen Fortschritten im Bereich der Künstlichen Intelligenz steigen auch die Anforderungen an skalierbare und leistungsfähige Speicherarchitekturen. Next Gen. (KI) Workloads sind datenhungrig, erfordern mehr Kapazität, Leistung sowie Skalierbarkeit und sollen dabei doch effizient operieren. Vor diesem Hintergrund kommentiert Uwe Kemmer - Director EMEA Field Engineering bei WD - drei wichtige Trends, die aus Sicht seines Unternehmens die Zukunft der Datenspeicherung im KI-Zeitalter prägen werden (Auszug mit gekennzeichneten Anmerkungen):
1. HDDs: Das Fundament von und für KI
„Das schnelle Wachstum von KI, generativer KI und maschinellem Lernen verbraucht sowie generiert beispiellose Datenmengen. Laut IDC soll sich das Volumen an weltweit erzeugten Informationen innerhalb von fünf Jahren jedenfalls mehr als verdreifachen – von 173,4 Zettabyte im Jahr 2024 auf 527,5 Zettabyte in 2029.
Damit benötigen Rechenzentren enorme, skalierbare Kapazitäten für die Speicherung und Verarbeitung von Daten, Bildern, Videos und mehr. Im Zeitalter der KI geht es jedoch nicht mehr nur darum, endlos neue Kapazitäten hinzuzufügen. Das würde schnell zu Engpässen in Bezug auf Wirtschaftlichkeit, Ressourcen und Platzbedarf führen. Stattdessen müssen IT-Entscheidungsträger ihre Infrastrukturen von Anfang an intelligent planen und dabei die jeweiligen Workloads berücksichtigen. Workload-orientierte Denkweisen beim Aufbau einer Speicherarchitektur helfen, die richtige Balance zwischen den Speichermedien zu finden.
Während SSDs für „heiße“ Daten (Hochleistungsaufgaben mit geringer Latenz) nach wie vor wichtig sind, werden eine große Menge der Workloads in Rechenzentren weiterhin auf HDDs verbleiben. Das liegt daran, dass die meisten Aufgaben in Rechenzentren keinen sofortigen Zugriff erfordern und daher als „warm“ und/oder „kalt“ eingestuft werden. In diesen Szenarien sind die Gesamtbetriebskosten (TCO) wichtiger als eine geringe Latenz. HDDs mit hoher Kapazität sind bei großem Umfang deutlich wirtschaftlicher als Flash-Speicherlösungen...
IDC z.B. geht davon aus, dass HDDs bis 2028 einen Anteil von fast 80 % der installierten Basis für Hyperscale-/Cloud-Rechenzentren behalten werden. Die Vorteile von HDDs bei Kapazität, Wirtschaftlichkeit und Nachhaltigkeit werden durch bewährte Innovationen wie Heliumfüllung, ePMR (energieunterstützte senkrechte Magnetaufzeichnung) und SMR (Shingled Magnetic Recording) ermöglicht. In Kombination mit Aufzeichnungstechnologien der nächsten Generation, wie Heat-Assisted Magnetic Recording HAMR und Heat-Dot Magnetic Recording (HDMR), werden hochkapazitive HDDs dichter und ermöglichen so noch mehr Effizienz in Hyperscale-Umgebungen.
2. Die Zukunft gehört netzwerkgebundenen Festplattengehäusen auf Ethernet-Basis
Die Speicherarchitektur von Unternehmen wird sich in den kommenden Jahren voraussichtlich verändern. SAS (Serial Attached SCSI), die gängigste Massenspeicherschnittstelle in Rechenzentren, stößt zunehmend an ihre Leistungsgrenzen. In Bezug auf Latenz und Durchsatz kann der Standard nicht mit NVMe/PCIe-Ansätzen mithalten und wird zunehmend zu einem Engpass für KI-Anwendungen und andere bandbreitenintensive Workloads.
Eine Alternative zu SAS sind Ethernet-basierte Speicher-Fabrics. Der Vorteil dieser Technologie besteht darin, dass alle Arten von Speichern – Dateisysteme, Datenbankblöcke und Objektspeicher – auf einer einheitlichen Infrastruktur betrieben werden können. Dies erleichtert die Planung, den Betrieb und die Skalierbarkeit. Anstatt jedoch jede einzelne Festplatte direkt über Ethernet anzuschließen, ist es wirtschaftlich sinnvoller, auf intelligente Gehäuse mit hoher Dichte zu setzen. Diese Speicherplattformen können viele Festplatten bündeln und verwalten, fungieren aber auch selbst als Ethernet-Schnittstellen.
WD geht davon aus, dass netzwerkgebundene Gehäuse mit hoher Dichte in den kommenden Jahren das Rückgrat zukunftssicherer und KI-fähiger Speicherarchitekturen bilden werden. Mit der entsprechenden Software tragen diese netzwerkfähigen Gehäuse auch dazu bei, die Verwendung von Shingled Magnetic Recording (SMR) attraktiver zu machen.
SMR-HDDs sind aufgrund ihrer hohen Speicherdichte für KI-Workloads interessant. Allerdings sind sie aufgrund überlappender Spuren schwieriger zu steuern und langsamer zu überschreiben. Ein Fabric-Attached-Ansatz kann diese Herausforderungen kompensieren. Mit Hilfe von Software-Defined Provisioning fungiert es als Vermittler zwischen Anwendungen und HDDs.
Dazu nimmt es viele kleine, zufällige Schreibzugriffe entgegen und bündelt sie im Hintergrund zu großen, sequenziellen Schreibströmen, die SMR-HDDs besonders gut verarbeiten können. Angepasst an den jeweiligen Workflow, verteilt die Software dynamisch Kapazität und Schreibbandbreite – und reguliert so gleichzeitig den Energieverbrauch."
Abb.: Ultrastar DC HC690 Data Center Hard Drive - 32TB (Bildquelle: Western Digital).
Unser Anmerkung zu SMR:
Standard Perpendicular Magnetic Recording (PMR)-Festplatten ermöglichen random writes über die gesamte Festplatte. Shingled Magnetic Recording (SMR) HDDs bietet nun zwar eine höhere Aufzeichungs-/Bitdichte, erzwingt zur Ausnutzung dieser höheren Kapazität aber sequentielle Schreibvorgänge.
Anbieter wie Leil Storage haben inzwischen die Unterstützung für host-managed SMR-Laufwerke optimiert und dazu eine skalierbare, softwaredefinierte Speicherlösung entwickelt. Im Kern handelt es sich um ein verteiltes Dateisystem ähnlich wie GoogleFS, das primär in C++ geschrieben ist und von Konzepten inspiriert wurde, die von Hyperscale-Cloud-Anbietern entwickelt und auch angewendet wurden. Leil Storage erweitert das Konzept nun um einen aktiven Archivspeicher mit real-time Snapshots für Datenschutz, Unveränderlichkeit und SMR-Unterstützung.
3. Disaggregierter Speicher als Effizienz-Booster
"Hyperkonvergente Infrastrukturen (HCI) haben sich in den letzten Jahren gegenüber traditionellen IT-Infrastrukturen (DAS, SAN und NAS) zu einer beliebten Alternative entwickelt, da sie einen einheitlichen Weg zur Beschleunigung der Leistung und Skalierung in Rechenzentren bieten. Die rapide Zunahme von KI-Workloads stellt jedoch die Effizienz und Flexibilität dieser einzelnen Infrastrukturmodelle in Frage, die mit dem Risiko von Engpässen verbunden sind. Disaggregierte Speicherarchitekturen können dabei helfen, diese Herausforderung zu bewältigen.
Durch die Entkopplung von Speicher und Rechenleistung können Unternehmen ihre Ressourcen separat skalieren und somit flexibel sowie effizient auf KI-Workloads reagieren. Dies verhindert unnötige Investitionen und teure Überprovisionierung, erhöht die Effizienz und trägt zu niedrigeren Gesamtbetriebskosten bei. Dementsprechend sagen aktuelle Studien voraus, dass sich der Markt für disaggregierte Speicher bis 2033 mehr als verdoppeln wird." (1)
Fazit
KI wird auch 2026 die Anforderungen an die Dateninfrastruktur weiter verändern, und Speicher mit hoher Kapazität bleiben die wirtschaftliche und nachhaltige Grundlage für diese Workloads der nächsten Generation. Der Schlüssel zur vollständigen Ausschöpfung ihres Potenzials liegt darin, Lösungen an die Workload-Anforderungen anzupassen und skalierbare Systeme aufzubauen, die auch im großen Maßstab effizient arbeiten. Der Weg in die Zukunft besteht nicht nur darin, Kapazitäten hinzuzufügen, sondern Systeme zu entwickeln, die Leistung, Kosten und Nachhaltigkeit im Zettabyte-Zeitalter in Einklang bringen.“
Unsere Anmerkung: KI verändert den Wert von Archivdaten, d.h. teils riesige unstrukturierten Datenmengen sollen nicht nur einfach gespeichert, sondern weiter im Zugriff stehen. Unter Berücksichtigung der Kosten für Strom, Energieverbrauch, Medien und Investitionskosten für Hard- und Software (CAPEX) bietet sich die Bandtechnologie für diese typischerweise sehr großen und unstrukturierten Datenmengen an (cold data / Deep Archives). Tapetechnologie plus die entsprechende Software kann sicherstellen, dass sie über viele Jahre hinweg (on-premise ohne Abrufbefehlskosten) - über einen S3-nativen Object Storagepool auf Basis Tape sowie HDDs (inkl. Caching) zugreifbar sind. Die notwendige Verfügbarkeit kritischer Langzeit-Archivdaten für Datenanalysen-/KI-Anwendungen (bei private Clouds vor-Ort unabhängig vom jeweiligen Cloud Service Provider) wird damit sichergestellt. Je nach Menge-/ Umfang-/ Anforderung bieten sich aber auch hybride Implementierungen an.
Querverweis:
Unser Blogpost > Ethernet für KI-Storage und IT-Infrastruktur-Herausforderungen aus Speichernetzwerk-Sicht
Unser Beitrag > Seagate liefert 30 TB Mozaic3+ Festplatten mit Heat Assisted Magnetic Recording (HAMR)-Technologie
Unser Beitrag > Fujifilm bringt LTO Ultrium 10 Tape Storage mit 40TB auf den Markt