München, Starnberg, 21. Nov. 2024 - Anforderungen von KI-Workloads und geschäftskritischen, Cloud-nativen Anwendungen erfüllen; mehr operative Effizienz und Sicherheit...

Zur Ankündigungsübersicht: Red Hat hat in diesem November eine Reihe von Ankündigungen öffentlich gemacht, die im Zusammenhang mit Red Hat OpenShift und KI stehen. Darunter fällt auch die definitive Vereinbarung zur Übernahme von Neural Magic - einem Pionier auf dem Gebiet von Software und Algorithmen - um Inferenz-Workloads für generative KI zu beschleunigen. Nachfolgend finden Sie eine kompakte Übersicht zu den relevanten Neuerungen sowie Updates und Funktionen, die damit in einem direkten Zusammenhang stehen:

1. Red Hat OpenShift AI 2.15 Ankündigung

Die aktuelle auf (Red Hat-) OpenShift aufbauenden KI- und Machine-Learning-Plattform ist gedacht, KI-gestützte Anwendungen im großen Maßstab in der Hybrid Cloud zu entwickeln und bereitzustellen. Red Hat OpenShift AI 2.15 soll jetzt mehr Flexibilität und Funktionen für das Tuning und Tracking bieten. Dies betrifft auch Anforderungen wie eine gleichbleibende operative Effizienz sowie verbesserte Sicherheit über die Public Cloud, Rechenzentren und Edge-Umgebungen hinweg sicherstellen zu können.

Laut Untersuchungen von IDC sollen Unternehmen der Forbes Global 2000, die größten börsennotierten Firmen der Welt, mehr als 40 Prozent ihrer IT-Ausgaben in KI-Projekte investieren. (1) Zudem prognostiziert IDC, dass Unternehmen bis 2026 mit generativer KI (GenAI) und Automatisierungen Produktivitätssteigerungen in Höhe von einer Billion US-Dollar erzielen werden. (2)

Red Hat ist hier der Ansicht, dass dieses Investitionsniveau eine KI/ML-Plattform erfordert, die gleichzeitig die Lebenszyklen der Modelle effizient verwaltet und GenAI-Anwendungen entwickelt, während sie außerdem flexibel genug ist, um sie neben traditionellen Workloads und Anwendungen in der Hybrid Cloud zu betreiben. Die Version 2.15 zielt darauf, die aufkommenden Anforderungen von KI-Workloads neben den weiteren Anforderungen von geschäftskritischen Cloud-nativen Anwendungen zu erfüllen. Red Hat OpenShift AI 2.15 soll laut Anbieter ab Mitte November 2024 allgemein verfügbar werden.

(1) IDC FutureScape Webcast: Worldwide Artificial Intelligence and Automation 2024 Predictions, (#US51901124), March 2024.

(2) IDC, FutureScape: Worldwide Future of Work 2024 Predictions (#US49963723), 2023
 

Zu den erweiterten Funktionen der neuesten Version von Red Hat OpenShift AI gehören (Quelle/Red Hat):

• Model Registry als zentrale Anzeige und Verwaltung registrierter Modelle ist aktuell als Technology Preview verfügbar. Die Registry bietet eine einfache und strukturierte Möglichkeit, um prädiktive sowie GenAI-Modelle, Metadaten und Modell-Artefakte gemeinsam zu nutzen, zu versionieren, bereitzustellen und zu tracken. Auch sind mehrere Modelle gleichzeitig registrierbar. Red Hat hat das Model-Registry-Projekt auch der Kubeflow-Community als Unterprojekt zur Verfügung gestellt.

• Data Drift Detection überwacht Änderungen in der Verteilung von Eingabedaten für bereits ausgerollte ML-Modelle. So können Data Scientists feststellen, wenn die Live-Daten, die für die Modellvorhersagen verwendet werden, erheblich von den Trainingsdaten abweichen. Data Drift Detection hilft, die Zuverlässigkeit des Modells zu überprüfen, indem sie die Eingabedaten kontinuierlich überwacht, das Modell an die realen Daten anpasst und so die Genauigkeit der Vorhersagen sicherstellt.

• Bias Detection unterstützt Data Scientists und KI-Engineers dabei, ihre Modelle fair und unvoreingenommen zu entwickeln – ein entscheidender Faktor für die Vertrauenswürdigkeit eines Modells. Die Tools geben nicht nur Aufschluss darüber, ob die Modelle auf der Grundlage der Trainingsdaten unvoreingenommen sind, sondern überwachen auch die Fairness der Modelle in der Praxis. Bias Detection wird von der TrustyAI-Open-Source-Community bereitgestellt, die ein vielfältiges Toolkit für die verantwortungsvolle Entwicklung und den Einsatz von KI bietet.

• Effizienteres Fine-Tuning mit LoRA (Low-Rank-Adapter), um die effiziente Feinabstimmung von LLMs wie Llama 3 zu realisieren. Auf diese Weise können Unternehmen KI-Workloads skalieren und gleichzeitig Kosten und Ressourcenverbrauch senken. Durch die Optimierung des Modelltrainings und des Fine-Tuning in nativen Cloud-Umgebungen verbessert diese Lösung sowohl die Leistung als auch die Flexibilität und macht die KI-Bereitstellung leichter zugänglich und skalierbar.

• Unterstützung für NVIDIA NIM beschleunigt mit einer Reihe von benutzerfreundlichen Schnittstellen-Microservices die Bereitstellung von KI-Anwendungen. Die Integration von NIM, Teil der NVIDIA AI Enterprise Software Platform, verbessert das Deployment von GenAI-Anwendungen und unterstützt eine breite Palette von KI-Modellen, um skalierbare Inferenzen vor Ort oder in der Cloud über APIs bereitzustellen.

• Unterstützung für AMD-GPUs ermöglicht den Zugriff auf ein AMD ROCm Workbench Image zur Verwendung von AMD-GPUs für die Modellentwicklung. Die neue Funktionalität ermöglicht auch den Zugriff auf Images, die für Serving- und Trainings-/Tuning-Anwendungsfälle mit AMD-GPUs einsetzbar sind. Damit stehen Unternehmen zusätzliche Optionen für den Einsatz von GPUs zur Verbesserung der Leistung bei rechenintensiven Aktivitäten zur Verfügung.

Verbessertes Model Serving​

Als KI- und ML-Plattform bietet Red Hat OpenShift AI 2.15 ebenfalls neue Funktionen für das GenAI Model Serving – inklusive der vLLM-Serving-Laufzeit für KServe. Damit erhält die Plattform eine populäre Model Serving Runtime für LLMs auf Open-Source-Basis. Die Flexibilität und Leistung von vLLM ist eine optimale Ergänzung zu den derzeit von der Plattform unterstützten Laufzeiten. Anwender können aber auch, je nach Anforderung, ihre präferierten Alternativen hinzuzufügen.

Die neueste Version bietet außerdem Unterstützung für KServe Model Cars, das Repositories der Open Container Initiative OCI als Option für die Speicherung und den Zugriff von containerisierten Modellversionen hinzufügt. Darüber hinaus können Unternehmen mit der Auswahl privater/öffentlicher Routen für Endpunkte in KServe die Sicherheit eines Modells verbessern, indem sie es bei Bedarf gezielt an interne Endpunkte leiten.
 

Erweiterte Optionen für KI-Training und -Experimente​

Red Hat OpenShift AI 2.15 bietet Verbesserungen für Data-Science-Pipelines und das Tracking von Experimenten. Data Scientists können damit Pipeline Runs, die in einer logischen Struktur gruppiert sind, einfacher verwalten, vergleichen und analysieren. Die neue Version fügt außerdem Hyperparameter-Tuning mit Ray Tune hinzu.

Damit stehen erweiterte Algorithmen zur Verbesserung der Genauigkeit und zum effizienteren Trainieren von prädiktiven GenAI-Modellen zur Verfügung. Die Basis-Container-Images für Ray-Cluster sind ebenfalls in der neuesten Version von Red Hat OpenShift AI enthalten. Trainings- und Tuning-Aufträge können über verteilte Workloads im Cluster geplant werden, um Aufträge zu beschleunigen und die Knotenauslastung zu maximieren.

 

Abb.: Bildquelle: Red Hat
 

2. Red Hat OpenShift 4.17 Ankündigung

Die Hybrid-Cloud-Anwendungsplattform Red Hat OpenShift wurde um mehrere Funktionen erweitert. Die laut Anbieter ab sofort verfügbare neue Version Red Hat OpenShift 4.17 soll Innovationen in der Hybrid-Cloud beschleunigen, wobei die Erfüllung strenger Sicherheits- und Compliance-Anforderungen gewährleistet bleibt. Zudem präsentiert Red Hat eine Technologievorschau von Red Hat OpenShift Lightspeed mit integrierter generativer KI.

• Red Hat OpenShift 4.17 enthält Erweiterungen für Red Hat OpenShift Virtualization, um die Verwaltung virtualisierter Workloads zu optimieren. Zu den wichtigsten Funktionen gehört eine verbesserte, sichere Speicher-Oversubscription, die die Workload-Dichte erhöht. Das heißt, es können mehr virtuelle Maschinen ausgeführt werden als physischer Speicher zur Verfügung steht. Eine weitere Neuerung ist das verbesserte dynamische Workload-Rebalancing, das die Ressourcenoptimierung und Stabilität bei Cluster-Upgrades oder Änderungen der Workload-Anforderungen sicherstellt.

• Darüber hinaus verfügt Red Hat Advanced Cluster Management for Kubernetes, das separat oder als Teil von Red Hat OpenShift Platform Plus erhältlich ist, nun über neue Funktionen für die Verwaltung virtueller Maschinen über mehrere Cluster hinweg. Dazu gehören eine verbesserte Suche und in einer Technologievorschau die Möglichkeit, VMs direkt von Red Hat Advanced Cluster Management aus anzuhalten, zu starten oder neu zu starten. VM-Administratoren können damit über eine zentrale Verwaltungsoberfläche mit ihren Ressourcen interagieren, unabhängig davon, in welchem Cluster sie gehostet werden.

• Red Hat OpenShift 4.17 plant zudem neue Sicherheitsfunktionen einzuführen. Dazu gehören in einer Technologievorschau die native Netzwerkisolierung für Namespaces, um vertrauliche Workloads und Daten zu schützen, User Namespaces in Pods zum Schutz vor einer Privilegien-Eskalation und der Confidential Compute Attestation Operator, der Attestierungsdienste für vertrauliche Container-Workloads bereitstellt und so den Schutz der verwendeten Daten gewährleistet.

Red Hat OpenShift Lightspeed bietet einen in Red Hat OpenShift integrierten virtuellen Assistenten, der es Teams ermöglicht, technische Fragen in einfachen Sätzen zu stellen und detaillierte Antworten zu erhalten. So wird die Art und Weise verbessert, wie Teams mit Red Hat OpenShift lernen und arbeiten können. Die Technologievorschau von Red Hat OpenShift Lightspeed unterstützt auch Red Hat OpenShift AI und Red Hat Enterprise Linux AI, sodass Unternehmen Red Hat als Quelle für das zugrunde liegende LLM nutzen können.

3. Red Hat gibt definitive Vereinbarung zur Übernahme von Neural Magic bekannt

Die Vereinbarung zur Übernahme von Neural Magic - einem Pionier auf dem Gebiet von Software und Algorithmen - soll die Inferenz-Workloads für generative KI beschleunigen. Die Expertise von Neural Magic im Bereich Inferenz-Performance-Engineering und das Engagement des Unternehmens für Open Source passen laut Red Hat zur Vision des Anbieters, hochleistungsfähige KI-Workloads in der Hybrid Cloud bereitzustellen.

• KI der nächsten Generation dominiert einen Großteil der heutigen Technologielandschaft, wobei die genutzten Large Language Models (LLMs) immer komplexer werden. Daher erfordert der Aufbau kosteneffizienter und zuverlässiger LLM-Services erhebliche Rechenleistungen und Energieressourcen. Durch diese Herausforderungen ist eine maßgeschneiderte, einsatzbereite und sichere KI für die meisten Unternehmen unerreichbar.

• Das neue Angebot greift laut Red Hat diese Herausforderungen auf, indem das Unternehmen generative KI durch die offene Innovation von vLLM für mehr Anwender zugänglich macht. vLLM ist ein Community-gesteuertes Open-Source-Projekt für Open Model Serving mit Unterstützung aller wichtigen Modellfamilien und mit diversen Hardware-Backends. Die führende Rolle von Neural Magic im vLLM-Projekt in Kombination mit dem breiten Portfolio an Hybrid-Cloud-KI-Technologien von Red Hat soll Unternehmen einen offenen Weg zur Umsetzung von KI-Strategien ebnen können, die ihren individuellen Anforderungen gerecht werden.

• Mithilfe der Technologie und der Expertise von Neural Magic im Bereich Performance-Engineering möchte Red Hat die Zukunft der Künstlichen Intelligenz mitgestalten, gestützt durch das KI-Technologieportfolio von Red Hat, das Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI und InstructLab umfasst.

Neural Magic erstellt einen Inferenz-Stack, der es Nutzern ermöglicht, LLM-Workloads in Hybrid-Cloud-Umgebungen zu optimieren, bereitzustellen und zu skalieren. Dabei behalten sie laut Entwickler die volle Kontrolle über die Auswahl der Infrastruktur, die Sicherheitsrichtlinien und den Modell-Lebenszyklus.

Externer Link > https://www.redhat.com/en/blog/future-ai-open-source

Querverweis:

Unser Beitrag > Infinidat InfiniBox und CSI-Treiber Zertifizierung für Red Hat OpenShift-Virtualisierung

Unser Beitrag > NetApp erweitert Kooperation mit Red Hat OpenShift, Google Cloud und neuem AWS SCA

Unser Beitrag > IBM Cloud erweitert AI Accelerator Angebot: Zusammenarbeit mit AMD bei GenAI und HPC

Unser Beitrag > Red Hat Summit 2024: Optimierungen für Portworx von Pure Storage mit Red Hat OpenShift