Waltham (US), Starnberg, 15. Febr. 2024 - Einblicke in alle Schichten von KI-gestützten Anwendungen; ganzheitliche Beobachtbarkeit und Sicherheit über den gesamten KI-Stack...
Zur Ankündigung: Dynatrace hat Ende letzten Monats bekanntgegeben, dass seine Analyse- und Automatisierungsplattform erweitert wurde, um die ganzheitliche Beobachtbarkeit und Sicherheit für große Sprachmodelle (LLMs) und generative KI-gestützte Anwendungen zu ermöglichen. Die Erweiterung der Dynatrace®-Plattform soll es erlauben (Zitat) "die generative KI vertrauensvoll und kosteneffizient zu nutzen, um damit Innovation, Produktivität und Umsatz zu steigern." In Summe kann die digitale Transformation damit schneller, einfacher und intelligenter gestaltet werden.
Dynatrace® AI Observability
Die neue Lösung deckt den gesamten KI-Stack ab, einschließlich Infrastruktur wie Nvidia® GPUs, grundlegende Modelle wie GPT4, semantische Caches und Vektordatenbanken wie Weaviate und Orchestrierungs-Frameworks wie LangChain.
Es unterstützt laut Anbieter die wichtigsten Plattformen für die Erstellung, das Training und die Bereitstellung von KI-Modellen, einschließlich Microsoft® Azure OpenAI Service, Amazon® SageMaker und Google® AI Platform.
Dynatrace AI Observability nutzt laut Entwickler dazu Davis® AI und andere Kerntechnologien der Plattform, um einen präzisen Überblick über alle KI-gestützte Anwendungen zu liefern. Betreiber sollen Leistungsengpässe und deren Ursachen damit automatisch identifizieren können.
Dynatrace AI Observability mit Davis AI hilft zudem bei der Einhaltung von Datenschutz- und Sicherheitsbestimmungen und Governance-Standards, indem es die Herkunft der von den Anwendungen erzeugten Daten nachverfolgt. Darüber hinaus kann es bei der Kostenprognose und -kontrolle unterstützen, indem es den Verbrauch an Token überwacht, die die Basiseinheiten sind, die generative KI-Modelle zur Verarbeitung von Anfragen verwenden.
Abb.: Dynatrace AI Observability (Bildquelle: Dynatrace).
Anwenderkommentar Ryan Berry, SVP Engineering & Architecture bei OneStream: "Generative und prädiktive KI wird unserem Unternehmen mit unseren ML- und LLM-Services neue Möglichkeiten eröffnen. Um sie jedoch erfolgreich zu implementieren, müssen wir sicherstellen, dass unsere Services, die diese kritischen Workloads unterstützen, zuverlässig sind und gut funktionieren…“.
Querverweis:
Unser Beitrag > Effektiver Cyberschutz mit KI: Prognosen und Handlungsempfehlungen für (IT-)Verantwortliche
Unser Blogpost > Zum Einsatz von KI-Technologien für Backup-Recovery-Verfahren und besseren Datenschutz
Unser Beitrag > Commvault-Futurum-Group-Studie: Enge Kooperation von ITOps und IT SecOps dringend nötig