Aschheim b. München, Starnberg, 18. Okt. 2024 - Unstrukturierte Daten automatisiert iterativ für KI vorbereiten; Kooperationen mit Branchenführern wie NVIDIA; GenAI im Fokus…
Zur Ankündigung: NetApp erweitert sein Technologieangebot und die Zusammenarbeit mit Branchenführern, um KI-Innovationen zu beschleunigen. Das Unternehmen stellt dazu die intelligente Dateninfrastruktur für den Einsatz von GenAI bereit und unterstützt Unternehmen so (Zitat), „eine der wichtigsten Entwicklungen für Business und IT des letzten Jahrzehnts zu nutzen.“ Gartner z.B. prognostiziert, dass die Ausgaben für KI-Software bis 2027 auf 297,9 Milliarden US-Dollar steigen sollen und danach mehr als ein Drittel davon auf GenAI entfallen soll. Der Schlüssel zum Erfolg in dieser KI-Ära sind Governance-konforme, vertrauenswürdige und nachvollziehbare Daten. Mit generativer KI (GenAI) lassen sich Anwendungsfälle mit großem praktischen Innovationspotenzial umsetzen wie zum Beispiel die Erstellung von Inhalten oder die Zusammenfassung großer Informationsmengen.
Die NetApp INSIGHT 2024 Veranstaltung präsentierte kürzlich die Vision einer solchen „Ära der Datenintelligenz“. Ein großer Teil der KI-Herausforderung ist eine Datenherausforderung und eine intelligente Dateninfrastruktur ist laut NetApp Teil dieser Vision: Sie garantiert, dass die relevanten Daten sicher, regelkonform und aktuell vorliegen, um einen einheitlichen, integrierten GenAI-Stack zu speisen. Entsprechend präsentierte der Anbieter weitere Neuerungen im Bereich der intelligenten Dateninfrastruktur – darunter eine transformative Vision für KI auf Basis des Unified Storage Betriebssystems NetApp ONTAP. Im Einzelnen wurden folgende Neuerungen vorgestellt:
NVIDIA DGX SuperPOD Storage-Zertifizierung für NetApp ONTAP
Ein NVIDIA Zertifizierungsprozess für NetApp ONTAP Storage auf der AFF A90 Plattform mit NVIDIA DGX SuperPOD AI-Infrastruktur wurde begonnen. Damit können Unternehmen Datenmanagementfunktionen für ihre größten AI-Projekte nutzen. Diese Zertifizierung ergänzt und erweitert die bestehende Zertifizierung von NetApp ONTAP mit NVIDIA DGX BasePOD. NetApp ONTAP adressiert Datenmanagement-Herausforderungen bei Large-Language-Modellen (LLM); damit sollen keine Kompromisse beim Datenmanagement für KI-Trainings-Workloads mehr gemacht werden müssen.
Neuer globaler Metadaten-Namensraum
Der Namespace wird zur sicheren und konformen Erfassung und Verwaltung von Daten in der hybriden Multi-Cloud-Umgebung eines Kunden zur Extraktion- und Klassifizierung von Daten für KI dienen. Der Anbieter kündigte bereits separat die neue Integration mit NVIDIA KI-Software an, die den globalen Metadaten-Namensraum mit ONTAP nutzt, um Enterprise Retrieval Augmented Generation (RAG) für agentenbasierte KI zu betreiben.
Mittels der direkt integrierten KI-Datenpipeline kann ONTAP unstrukturierte Daten automatisch und iterativ für KI vorbereiten. Änderungen am Kundendatensatz werden erfasst und richtliniengesteuerte Datenklassifizierung und -anonymisierung durchführt. Zusätzlich generiert sie hoch komprimierbare Vektoreinbettungen und speichert diese in einer in das ONTAP Datenmodell integrierten Vektor-Datenbank, die für semantische Suchvorgänge in großem Umfang und mit geringer Latenz bereit ist und zusätzlich RAG-Inferencing ermöglicht.
Disaggregierte Storage-Architektur
Die Plattform soll die vollständige und gemeinsame Nutzung des Storage-Backends ermöglichen. Dadurch werden laut Anbieter die Netzwerk- und Flash-Geschwindigkeiten maximiert und die Infrastrukturkosten gesenkt. Dies wiederum verbessert die Performance und spart Rack-Platz und Strom für sehr große, rechenintensive KI-Workloads wie LLM-Training. Diese Architektur wird ein integraler Bestandteil von NetApp ONTAP, sodass sie die Vorteile einer disaggregierten Storage-Architektur bietet, aber dennoch die bewährten Funktionen von ONTAP für Resilienz, Datenmanagement, Sicherheit und Governance beibehält.
Neue Funktionen für native Cloud Services, die KI-Innovationen in der Cloud fördern
NetApp arbeitet nach vorliegenden Angaben daran, für alle nativen Cloud-Services eine integrierte, zentralisierte Datenplattform für Ingest, Erkennung und Katalogisierung von Daten bereitzustellen. Das Unternehmen integriert seine Cloud Services auch mit Data Warehouses und entwickelt Datenverarbeitungsservices zur Visualisierung, Aufbereitung und Transformation von Daten. Die aufbereiteten Datensätze können dann mit den KI- und Machine-Learning-Services der Cloud-Anbieter, einschließlich Lösungen von Drittanbietern, sicher geteilt und genutzt werden. Geplant ist außerdem eine Integration, die es ermöglicht Google Cloud NetApp Volumes als Datenspeicher für BigQuery und Vertex AI zu nutzen.
KI-Ökosystem: Domino Data Labs entscheidet sich für Amazon FSx for NetApp ONTAP:
Um den Stand von Machine Learning Operations (MLOps) voranzutreiben, ist NetApp eine Partnerschaft mit Domino Data Labs eingegangen, um die nahtlose Integration in KI-Workflows zu unterstützen. Dazu nutzt Domino ab sofort Amazon FSx for NetApp ONTAP als Storage für Domino Datasets in ihrer Cloud-Plattform. Die Vorteile: kosteneffektive Performance, Skalierbarkeit und schnellere Modellentwicklung. Zusätzlich haben Domino und NetApp a gemeinsam begonnen, die MLOps-Plattform von Domino direkt in NetApp ONTAP zu integrieren, um das Datenmanagement für KI-Workloads zu vereinfachen.
Abb.: Modern data analytics, high-level. Different solutions for different analytics strategies. September 2024 | WP-7348-0924 (Bildquelle: NetApp).
Querverweis: siehe dazu auch "In unserem Experten-Podcast nachgefragt: Intelligente Dateninfrastrukturen zur IT-Infrastruktur-Modernisierung am Beispiel NetApp.“
Link > https://storageconsortium.de/node/6022
Allgemeine Verfügbarkeit von AIPod mit Lenovo für NVIDIA OVX
NetApp® AIPod™ ist KI-fokussierte konvergente Infrastruktur auf Basis von NetApp ONTAP® All-Flash-Storage. Die im Mai 2024 angekündigte konvergente Infrastrukturlösung NetApp AIPod mit Lenovo ThinkSystem Servern für NVIDIA OVX ** ist jetzt allgemein verfügbar. Diese Infrastrukturlösung wurde für Unternehmen entwickelt, die generative KI- und RAG-Funktionen nutzen möchten, um die Produktivität zu steigern, Abläufe zu rationalisieren und neue Umsatzmöglichkeiten zu erschließen. ** Externer Link > https://www.nvidia.com/en-us/data-center/products/ovx/
Neue Funktionen für FlexPod AI
NetApp stellt neue Funktionen für seine FlexPod AI Lösung vor, um die Bereitstellung moderner Workloads zu beschleunigen. FlexPod AI mit RAG vereinfacht, automatisiert und sichert KI-Applikationen, um das volle Potenzial der Daten nutzen zu können. Mit Cisco Compute, Cisco Networking und NetApp Storage sollen Kunden von niedrigeren Kosten, effizienter Skalierung, schnellerer Wertschöpfung bei geringeren Risiken profitieren können.
Kommentarauszug Mike Leone, Practice Director, Data Analytics & AI, Enterprise Strategy Group, Teil von TechTarget: „KI zu implementieren, erfordert feine Abstimmung der technologischen Infrastruktur nahe an der Perfektion… Aber Storage ist nur ein Teil des Puzzles. Durch die Zusammenarbeit mit anderen branchenführenden Anbietern im Bereich der KI-Infrastruktur können NetApp-Kunden sicher sein, dass ihre Compute-, Netzwerk-, Storage- und KI-Softwarelösungen nahtlos integrieren und KI-Innovation voranzutreiben.“
Querverweis:
Unser Beitrag > NetApp kündigt Funktionen zur Optimierung von Workloads für GenAI, AWS und VMware an
Unser Beitrag > Vom KI-Hype zum Produktivbetrieb mit Unterstützung von Platform Engineering und MLOps