Der Flaschenhals moderner KI-Systeme verschiebt sich von der Rechenleistung hin zur Speicherarchitektur; AI-Inferenz statt AI-Training. Speicher wird stärker auf laufende LLMs hin optimiert…
Hintergrund
Aus dem Flash Memory Summit wurde inzwischen „Future of Memory and Storage (FMS)“. Das Event hat den bekannten Namen "Flash Memory Summit" erweitert, da es aus Sicht der Veranstalter nicht mehr nur um NAND-Flash, sondern um das „gesamte Speicher- und Storage-Ökosystem“ gehen soll. Die diesjährige Ausgabe vom 4. bis 6. August 2026 fand im Santa Clara Convention Center in Kalifornien (Silicon Valley) statt und gilt als wichtiges Branchen-Event und Barometer für Themen wie:
NAND Flash und SSDs
DRAM, HBM, CXL (Compute Express Link), Memory (MRAM, ReRAM, PCM etc.), NVMe und Speicherprotokolle
Storage für KI- und Hyperscale-Rechenzentren, AI-Infrastruktur und DataCenter-Storage
Computational Storage
Controller, Firmware und Speicherarchitekturen...Zu den aktiven Teilnehmern gehören die bekannte Namen der Speicherindustrie wie Samsung, SK Hynix, Micron, Kioxia, SanDisk, Phison, Seagate, Intel, AMD, NVIDIA usw. sowie zahlreiche Controller-, IP- und Systemanbieter.
Aktuell standen diese Themen im Blickpunkt (1):
Speicherarchitekturen für KI-Workloads
HBM und neue DRAM-Technologien
Hochleistungs-SSDs für AI-Rechenzentren
CXL-basierte Memory-Pooling-Lösungen
Energieeffizienz und Skalierung von Speicherinfrastrukturen.
Auffällig ist, dass sich so ziemlich alle Themen und Neuheiten um AI-Infrastrukturen drehen – klassische Consumer-SSDs spielten (im Gegensatz zu früher) weniger eine Rolle.
PCIe 5.0 ist inzwischen Standard und PCIe 6.0 spielt vor allem im Enterprise-Bereich eine Rolle. Andere Themen waren weniger vertreten, oder zumindest nach Aussen kaum sichtbar, so wie z.B. Storage Class Memory, SCM (siehe Optane-Nachfolger??), MRAM, ReRAM etc. (eher in Forschungs- und Nischenanwendungen zu finden), aber auch aktuelle sowie künftige Langzeitspeicher- und Konzepte (z.B. Speicherung in Glas, DNA-Storage etc.).
(1) Quelle / externer link > https://www.terrapinn.com/conference/future-memory-storage/index.stm
Executive Summary
Die FMS 2026 zeigt keine einzelnen revolutionären Technologiesprünge, sondern eher einen Paradigmenwechsel, getrieben durch KI: Speicher wird darin zunehmend als aktiver Bestandteil der AI-Architektur betrachtet; Stichwort: der Flaschenhals moderner KI-Systeme verschiebt sich von der Rechenleistung hin zur Speicherarchitektur; fast alle wichtigen Ankündigungen ordnen sich diesem Trend unter.
Insgesamt wird deutlich, dass jedenfalls aus Sicht von Flashstorage der Wettbewerb nicht mehr primär um schnellere SSDs geführt wird, sondern um KI-bezogene Speicherarchitekturen. Kapazität, Bandbreite und dynamische Speicherpools entwickeln sich zu wichtigen Faktoren für die nächste Generation von AI-Rechenzentren.
Zentrales Thema „AI-Inference“
Bis vor 2-3 Jahren lag der primäre Fokus bekanntlich auf dem Training großer Modelle und die Frage lautete: Wie trainiere ich ein LLM möglichst schnell? Heute sind andere Faktoren dominant, insbesondere der Punkt „wie betreibe ich Millionen von AI-Anfragen möglichst effizient? Das verändert die Anforderungen an beteiligte Speicherkonzepte sowie Systemlösungen direkt:
Im Fokus stehen: Höhere SSD-Kapazitäten,
geringere Latenzen
effizienteres Daten-Caching
mehr Bandbreite zwischen GPU und Storage
weniger Energieverbrauch etc.
Die FMS 2026 zeigt damit, dass sich der Markt inzwischen primär auf das Thema „Inference“ konzentriert. Hintergrund: Während beim Training die Rechenleistung dominiert, wird Inferenz meist durch Speicherkapazität sowie Bandbreite begrenzt. Besonderes sehr große Modelle mit vielen Milliarden Parametern benötigen viel HBM. Hier setzt die Industrie mit High Bandwidth Flash (HBF) an.
Die derzeitige Speicherhierarchie:
CPU/GPU Register
│
▼
Cache
│
▼
HBM
│
▼
DDR/CXL
│
▼
SSD
Als mögliche künftige Speicherhierarchie bietet HBF eine zusätzliche Ebene zwischen HBM und SSD:
Ziel ist es, den teuren HBM-Speicher durch deutlich größere und günstigere Flash-Kapazitäten zu ergänzen, jedoch nicht komplett zu ersetzen. Insbesondere für den KV-Cache großer Sprachmodelle ist das relevant. Falls Anbieter wie NVIDIA, AMD oder Intel diese Architektur übernehmen, könnte HBF im Datacenter-Umfeld verstärkt an Bedeutung gewinnen.
Querverweis: siehe auch > KI-Storage-Herausforderungen: Wie kann Speicherplatz im KV-Cache beim Einsatz großer Sprachmodelle und der Vektorsuche optimiert werden?
Generelle Trends der FMS 2026: Entwicklungen im Vergleich zu den vergangenen Jahren:
AI-Inferenz statt AI-Training, d.h. Speicher wird stärker auf laufende LLMs optimiert,
CXL-Memory-Pooling: Speicher wird vom Server entkoppelt
Photonic Memory Fabrics: Optische Verbindungen für große Memory-Pools sind im kommen
NAND Flash rückt näher an den Prozessor
PCIe 6.0: Erste Enterprise-Produkte erreichen die Marktreife
Neue Speicherhierarchien: Zwischen HBM und SSD entstehen zusätzliche Ebenen.
Einige Ankündigungen von der Leistungsshow (kein Anspruch auf Vollständigkeit bzw. Korrektheit einzelner Performance- und Gerätedaten):
1. Kioxia / SanDisk - 3D-QLC-NAND mit BiCS10-Generation
332 aktive NAND-Layer und laut Anbieter der höchsten bisher gezeigten Flächendichte
Bis zu 4.800 MT/s (Megatransfers pro Sekunde) NAND-Interface
QLC-Flash speziell für AI-Datacenter-SSDsDer Fokus liegt hier auf höchster Kapazität pro Rack zu niedrigen Kosten pro gespeicherten AI-Token.
Siehe auch unser Beitrag > KIOXIA stellt CM10-Serie Enterprise-SSDs mit PCIe 6.0 und BiCS FLASH der 10. Generation vor. Inklusive einer Vorschau auf die neue (KIOXIA) Super-High-IOPS-SSDs mit 10 Mio. IOPS für KI-Workloads.
2. Samsung: V10 Bonding V-NAND (BV-NAND); neue AI-Speicherarchitektur
V10 Bonding V-NAND (BV-NAND) mit über 400 Speicherlagen ist eine neue Wafer-Bonding-Architektur, um die Speicherdichte gegenüber V9 um über >50% zu steigern.
Verbesserte Lese-, Schreib- und I/O-Leistung für AI-Workloads,
Konzepte für zHBM (vertikal über AI-Beschleunigern gestapelter HBM) sowie zNAND-O, eine neue Architektur für hochleistungsfähigen Flash.
Vision: Samsung möchte demnach den klassischen Speicherhierarchien zunehmend dreidimensionale Speicherarchitekturen hinzufügen, bei denen HBM und NAND enger an AI-Beschleuniger gekoppelt werden.
Quelle, externer Link > https://news.samsung.com/global/samsung-unveils-next-gen-3d-memory-vision-at-fms-2026-charting-the-future-of-ai-infrastructure
3. High Bandwidth Flash (HBF) von SanDisk und SK Hynix
NAND übernimmt einen Teil der Aufgaben von HBM
Bis zu 512 GB pro Package
Integration über UCIe usw.
4. Marvell mit Rack- und Pod-weiten Speicherarchitekturen
Neu vorgestellt: Bravera SC6,
CXL-basierte Memory-Expansion
Optical Shared Memory
bis zu 32 TB gemeinsam genutzter Speicher
Trennung von Compute und Memory, usw.
Um AI-Cluster flexibler auszulasten, soll der Speicher demnach nicht mehr um den Server organisiert werden, sondern Rack- bzw. Pod-weit gemeinsam bereitgestellt werden können.
Externer link > https://www.marvell.com/blogs/photonic-fabric-technology-optical-connectivity-ai-infrastructure.html
5. Intelligenter GPU-Storage
Mehrere Anbieter zeigen neue Konzepte, bei denen GPUs direkt auf den Speicher zugreifen: DDN demonstriert zusammen mit NVIDIA GPU-initiierte Storage-Zugriffe, dadurch entfällt der CPU-Umweg. Weiterer Vorteil: geringere Latenzen und eine bessere GPU-Auslastung für die AI-Inferenz. Technologische Basis hier ist Nvidia SCADA mit DDN Infinia Plattform.
6. Compute Express Link (CXL) im Fokus:
Themen sind u.a. Memory Pooling,
Shared Memory
Disaggregierte Serverarchitekturen
Größere Speicherpools für AI-Cluster.
Fazit zur Messe:
Das Hauptziel von NAND-Speicherherstellern bislang, möglichst viele Bits pro Wafer unterzubringen, beginnt sich zu ändern. Themen wie eine effektivere Integration mit (GPU-)Beschleunigern bei höchster Bandbreite und geringer Energieaufnahme - optimiert für Zugriffe mit KI- und Big Data-Workloads - stehen im Vordergrund.
Bei den von Kioxia, SanDisk, Samsung und anderen Anbietern gezeigten Technologien geht es nicht mehr nur um die Speicherdichte, sondern um die Rolle von Memory und NAND Flash als elementarer Teil von KI-Datenpipelines, da sich der Flaschenhals moderner KI-Systeme von der reinen Rechenleistung hin zur Speicherarchitektur beginnt zu verschieben.
Querverweis zum Themenkomplex:
Unser Blogpost > SNIA Swordfish® v1.2.9: Einheitliche Server- und Speicherverwaltung für Hyperscale- und Cloud-Infrastruktur-Umgebungen
Unser Beitrag > NetApp übernimmt DataPelago: GPU-beschleunigte Intelligenz auf Storage-Ebene
Unser Beitrag > Dell AI Factory Ankündigung mit PowerEdge XE8812 Server und NVIDIA Vera-Rubin-NVL4-Architektur