Blogpost mit Podcast: kritische Ressourcen am Beispiel von Google PolarQuant und WEKA AI Token Warehouse Storage Augmented Memory Grid mit NeuralMesh 6...
Zum Inhalt dieses Blogposts (nicht KI-erzeugt) Lesezeit: ca. 5 min.
Komplexere Interaktionen bei agentischen KI-Systemen betreffen sowohl die Inferenzleistung, als auch deren Wirtschaftlichkeit. Anwendungen wie große Sprachmodelle (LLMs) benötigen erheblichen Speicherplatz, um KeyValue (KV) Einträge im Cache zu speichern. Dies gilt insbesondere bei der Verarbeitung von Kontext mit großer Reichweite und Vector Search Engines. Damit steigt die Nachfrage nach schnellen Speicherchips bzw. Flash.
Nicht nur auf Grund aktueller Engpässe bei der Versorgung mit Memory- und Flashstorage entsteht hier ein potentiell kritischer Flaschenhals, was Anwenderseitig verschiedene Maßnahmen zur möglichst effektiven Reduzierung des Speicherbedarfs notwendig macht und als Priorität mit in den Vordergrund rückt. Im folgenden Überblick finden Sie zwei aktuelle Beispiele zu Lösungen, um die kritische Ressource „Storage für KI“ in diesem Zusammenhang weiter zu optimieren.
Hinweis: Sie können diesen Blogpost auch als (nicht KI-erzeugten) Podcast z.B. bei Apple Podcasts hören: Link > https://podcasts.apple.com/de/podcast/storage-f%C3%BCr-ki-wie-kann-speicherplatz-im-kv-cache-beim/id81294878?i=1000764265064
Weitere Podcasts finden Sie hier > https://storageconsortium.de/podcast
1. Google PolarQuant
Die Quantisierung von KV-Einbettungen ist eine gängige Technik zur Reduzierung des Speicherbedarfs. Den Ansatz, den Google Research mit „PolarQuant“ dazu liefert, repräsentiert eine neuartige Quantisierungsmethode, die laut Entwickler zufällige Vorkonditionierung und polare Transformation nutzt. (1)
Google TurboQuant, dass bereits auf der International Conference on Learning Representations, ICLR 2026 vom 23.-27. April in Rio de Janeiro (https://iclr.cc/) vorgestellt wurde, bietet einen Kompressionsalgorithmus, der das Problem des Speicherbedarfs bei der Vektor-Quantisierung** adressiert.
Das neue Komprimierungsverfahren kann eine erhebliche Verringerung der Modellgröße ohne Genauigkeitsverlust ermöglichen und soll sich damit besonders für die Unterstützung sowohl der Key-Value-Cache-Komprimierung (KV) als auch für die Vektorsuche eignen. Dies geschieht laut Entwickler in zwei wesentlichen Schritten:
„Hochwertige Komprimierung (hier PolarQuant-Methode): TurboQuant beginnt damit, die Datenvektoren zufällig zu drehen. Dies vereinfacht die Geometrie der Daten, wodurch sich ein standardmäßiger, hochwertiger Quantisierer leichter anwenden lassen soll;
Beseitigung versteckter Fehler: TurboQuant nutzt einen geringen Restanteil der Komprimierungsleistung (nur 1 Bit), um den QJL-Algorithmus auf den winzigen Fehleranteil anzuwenden, der aus der ersten Stufe übrig geblieben ist…“
**Anmerkung: Vektor-Quantisierung stellt ein klassisches Verfahren zur Datenkomprimierung dar, das die Größe hochdimensionaler Vektoren reduziert. Die Optimierung wirkt sich laut Google dabei auf zwei entscheidende Aspekte der KI aus:
Sie verbessert die Vektorsuche indem sie schnellere Ähnlichkeitsabfragen ermöglicht;
Sie hilft dabei, Engpässe im Key-Value-Cache zu beseitigen, indem sie die Größe der key-value-Paare reduziert, was schnellere Ähnlichkeitssuchen ermöglicht und den Speicherbedarf senkt.“
Originalzitat Google Research (1): „Unsere Methode wandelt die KV-Einbettungen mithilfe eines effizienten rekursiven Algorithmus in Polarkoordinaten um und quantisiert anschließend die resultierenden Winkel. Unsere zentrale Erkenntnis ist, dass die Winkel in der polaren Darstellung nach der zufälligen Vor-Konditionierung eine eng begrenzte, hochkonzentrierte Verteilung mit einer analytisch berechenbaren Form aufweisen.
Diese günstige Verteilung macht eine explizite Normalisierung überflüssig – einen Schritt, der bei traditionellen Quantisierungs-Methoden erforderlich ist und einen erheblichen Speicheraufwand verursacht, da Quantisierungs-Parameter (z. B. Nullpunkt und Skalierung) für jeden Datenblock in voller Genauigkeit gespeichert werden müssen. PolarQuant umgeht diesen Normalisierungsschritt und ermöglicht so erhebliche Speichereinsparungen.“
Die Langzeitbewertung zeigt laut dem Research, dass PolarQuant den KV-Cache um mehr als das 4,2-Fache komprimieren und dabei im Vergleich zu den modernsten Methoden mit die besten Qualitätswerte erzielen kann.
(1) Quelle Google PolarQuant: Quantizing KV Caches with Polar Transformation. Google TurboQuant: Redefining AI efficiency with extreme compression. March 24, 2026. Amir Zandieh, Research Scientist, and Vahab Mirrokni, VP and Google Fellow, Google Research.
Quelle / externer Link > https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
2. WEKA Augmented Memory Grid
Während Google den Schwerpunkt auf die möglichst effiziente Komprimierung im GPU-Speicher legt, wählt WEKA mit seiner „Token-Warehouse“ AI-Storage-Architektur einen anderen Ansatz, um der Speicherproblematik zu begegnen. Hintergrund: KI Inference Context im Zeitalter von Agents und deren komplexen Interaktionen ist nicht länger eine reine Optimierungs- sondern zunehmend IT-Infrastruktur-Herausforderung.
Der KV Cache wandelt sich von stateless prompts zu einem langlebigen Arbeitsspeicher zur Bereitstellung von Petabytes an persistentem Storage, der damit schnell zum Engpass werden kann. Die Gründe:
"Immer komplexere Interaktionen bei KI-Systemen betreffen sowohl die Inferenzleistung, als auch Wirtschaftlichkeit von KI-Initiativen. Der GPU-Speicher mit hoher Bandbreite (meist HBM3) ist zwar extrem schnell, aber in seiner Kapazität begrenzt, während System-DRAM mehr Speicherkapazität besitzt, aber dafür weniger Bandbreite.
Sind im Zuge der Verarbeitung beide Speicherebenen (DRAM, HBM) gefüllt, werden Key-Value (KV-)Cache-Einträge entfernt, d.h. GPUs sind gezwungen, bereits verarbeitete Tokens neu zu berechnen. Dies führt zu I/O-Overhead, mehr Energieverbrauch und benötigt Zeit.
WEKA Augmented Memory Grid löst laut Entwickler diese GPU-Speicherbarriere, indem es eine Hochgeschwindigkeitsbrücke zwischen GPU-Speicher (HBM) und Flashspeicher bereitstellt."
Abb.1: NVIDIA® BlueField®-4 800 Gb/s DPU data processing unit (Bildquelle: NVIDIA).
Anmerkung: NVIDIA hat mit seiner Inference Context Memory Storage Platform und GPUDirect Storage ein neues Infrastructure Tier als Enterprise Storage Architektur vorgestellt, auf dem u.a. auch das hier erwähnte WEKA Augmented Memory Grid aufsetzt.
Abb: 2: NeuralMesh Networking Model (Bildquelle: WEKA® NeuralMesh™ Architecture White Paper. A Distributed, Software-Defined Architecture for AI-Scale Infrastructure). Anmerkung zur Abbildung: Die gesamte Kommunikation erfolgt über das Netzwerk; RDMA überträgt Daten mit minimaler CPU-Auslastung; GPUDirect umgeht die CPU vollständig.
GPU-Speicher mit GPUDirect Storage und RDMA erweitern
Es werden kontinuierlich Key-Value-Cache-Daten zwischen dem GPU-Speicher und dem Token-Warehouse von WEKA gestreamt. Das Verfahren nutzt RDMA und NVIDIA Magnum IO GPUDirect Storage, um möglichst hohe Speichergeschwindigkeiten zu erreichen.
Als Folge können große Sprach- und agentenbasierte KI-Modelle damit auf weitaus mehr Kontext zugreifen, ohne zuvor berechnete KV-Cache-Daten oder generierte Token neu berechnen zu müssen, was laut Entwickler die Effizienz und Skalierbarkeit erheblich zu verbessern hilft. (2)
"Unabhängige Tests - einschließlich der Validierung auf OCI - zeigen nach Angaben von WEKA „1000-mal mehr KV-Cache-Kapazität bei Beibehaltung einer nahezu speicherähnlichen Leistung“ sowie eine „20-fache Verbesserung der Time-to-First-Token auf Oracle Cloud Infrastructure.“
Augmented Memory Grid ist als Funktion für WEKA NeuralMesh™ Bereitstellungen enthalten und basiert auf einer containerisierten Microservices-Architektur, die eine robuste Skalierbarkeit bis in den Exabyte-Bereich ermöglichen kann (Quelle: Anbieter).
Anmerkung: NeuralMesh 6 - angekündigt am 21. Juli 2026 bietet eine native S3-Implementierung, bei der dieselben physischen Datenblöcke gleichzeitig über S3 und POSIX adressierbar sind; also kein Gateway, das zwischen den Protokollen übersetzt, sondern ein einziger einheitlicher Namensraum.
Die über NFS oder POSIX geschriebene Datei ist laut Entwickler sofort über S3 lesbar und umgekehrt, wodurch die zahlreichen vollständigen Datensatzkopien entfallen, die eine herkömmliche KI-Pipeline zwischen den Phasen Training, Feinabstimmung und Inferenz transportiert.
Die Implementierung ist laut dem Anbieter auf KI-Workload-Muster ausgelegt, d.h. 2.000 bis 5.000 gleichzeitige S3-Verbindungen pro Knoten, was etwa dem Fünffachen der Parallelität herkömmlicher S3-Architekturen entsprichen soll.
S3 über RDMA ermöglicht Zero-Copy-Datenübertragung direkt in den GPU-Speicher. Objektspeicher ist hier nicht länger eine sekundärer Speicherebene, sondern ein Hochleistungs-Protokoll, das nativ auf derselben Plattform läuft, die auch POSIX-Datei-Workloads bedient." (Quelle: WEKA.IO)
(2) Quelle / externer link > https://blogs.oracle.com/cloud-infrastructure/accelerate-ai-performance-weka-converged-storage
N.D., April / Update: Juli 2026.
Querverweis:
Unser Beitrag > Energieeffiziente KI-Rechenzentren im Gigawattbereich: Schneider Electric und NVIDIA entwickeln validierte Blueprints
Unser Beitrag > Wie läßt sich die Energieeffizienz von KI-Systemen mit FGPAs optimieren? Universität Paderborn entwickelt smarte Chips
Unser Beitrag > NVIDIA GTC Storage Update März 2026: KI-bezogene Speicherankündigungen in der Übersicht. Was ist NVIDIA Storage-Next?