München, Starnberg, 13. Juni 2024 - Zusammenarbeit kann den Einsatz von Knowledge Graphen, Graph Algorithmen und ML-Tools für KI-Analysen weiter vereinfachen…
Zur Ankündigung: Neo4j kündigt die native Integration seiner Graph Data Science Lösung in die Snowflake AI Data Cloud an. Das gaben beide Unternehmen im Rahmen des Snowflake Data Cloud Summit 2024 bekannt. Anwender der Snowflake-Plattform erhalten so direkten Zugriff auf die Neo4j Library mit Graph Algorithmen sowie ML-Tools und können Graph-Funktionalitäten in der gewohnten Snowflake-Umgebung nutzen, ohne dazu Daten verschieben zu müssen. Ziel der Integration ist es, die Komplexität und administrative Hürden zu reduzieren und für Kunden von Snowflake den Einsatz von Graphtechnologie zu vereinfachen. Gerade für KI/ML, prädiktive Analysen und GenAI-Anwendungen ist dieser einfache Einstieg laut Anbieter entscheidend.
Betreiber können ihre sicheren verwalteten Daten nativ in Snowflake nutzen, skalieren und sie mit den Graph-Analytics-Funktionen von Neo4j erweitern. Die gewonnenen Erkenntnisse helfen dabei, schneller zu Entscheidungen zu gelangen, Zeit sowie Ressourcen einzusparen und die Time-to-Value von Projekten zu beschleunigen. Die neuen Funktionen von Neo4j Graph Data Science in Snowflake Data Cloud sind ab sofort als Preview und über Early Access-Zugang verfügbar. Die allgemeine Verfügbarkeit soll im Laufe des Jahres über den Snowpark Marketplace erfolgen.
Out-of-the-box Graph-Algorithmen: Anwender können in der Snowflake Data Cloud die Programmiersprache SQL verwenden, um Knowledge Graphen zu generieren und aktuell über 65 vorkonfigurierte Graph-Algorithmen ausführen – darunter einfach zu bedienende Tools für Maschinelles Lernen (ML).
Die Neo4j Library ist als nativer Service in Snowflake integriert: Da die Graph-Algorithmen als SQL-Funktion zur Verfügung stehen, können Nutzer ML-Pipelines um Graph-Features erweitern (wie Influencer Score, Community-Identifier, Page Rank etc.) und die Genauigkeit ihrer MLs verbessern. So lassen sich zum Beispiel Anomalien im Rahmen der Betrugsaufdeckung und des Supply Chain Managements aufdecken und Recommendation Engines für den Kundenservice optimieren.
Zero ETL (Extrahieren, Transformieren, Laden): Zero ETL vereinfacht Sicherheit, Daten-Workflows und reduziert den Overhead: Anwender können die Neo4j Library einschließlich Graph-Algorithmen direkt nutzen, ohne ihre Daten zuvor extrahieren, transformieren und in eine andere Datenbank laden zu müssen. Eine Freigabe durch das IT-Procurement und die IT-Sicherheit für den Datentransfer zu einem anderen SaaS-Anbieter ist ebenfalls nicht mehr nötig.
Gewohnte Snowflake Umgebung, Tools und Sprachen: Mit der Integration werden die Graph Data Science-Funktionalitäten von Neo4j Teil des ganzheitlichen Toolsets der Snowflake-Plattform. Data Scientists und Entwickler können weiterhin Snowflake SQL für ihre Arbeitsabläufe verwenden, eine agile Entwicklung sicherstellen und schnell und einfach mehr Nutzen aus ihren Daten ziehen. Neo4j arbeitet mit den neuen, auf dem Snowflake Data Cloud Summit vorgestellten Container Services (SPCS).
Teil des GenAI Stacks: Mit der Neo4j Graphdatenbank lassen sich Knowledge Graphen und Vektoren generieren, die auf strukturierten und unstrukturierten Daten sowie den Beziehungen zwischen den Daten basieren. Diese Fähigkeit ist Teil des umfassenden GenAI-Stacks in Snowflake, der sowohl die Vektorsuche als auch die Arctic LLM-Modelle umfasst. Daten lassen sich damit auf eine Art und Weise repräsentieren, die Antworten von GenAI-Anwendungen verständlicher, erklärbarer und nachvollziehbarer macht. Externer Link > https://www.snowflake.com/en/data-cloud/arctic/
Cloud-native Flexibilität: Anwender können Graph Data Science-Umgebungen aus Snowflake SQL heraus erstellen und zahlen mit Snowflake Credits für die während der Laufzeit der Algorithmen genutzten Snowflake Ressourcen. Die temporären Umgebungen sind laut Anbieter so konzipiert, dass sich Aufgaben der Nutzer an die spezifischen Anforderungen anpassen, was eine effiziente Ressourcenzuweisung und niedrige Kosten garantiert. Graph Analytics-Ergebnisse lassen sich ebenfalls in Snowflake integrieren, was die Interaktion mit anderen Data Warehouse-Tabellen vereinfacht.
Abb.: Scaling Neo4j Graph Database, Neo4j Ops Manager (Bildquelle: Neo4j)
Quelle / externer Link > https://neo4j.com/neo4j-ops-manager/
Kommentarauszug Sudhir Hasbe, Chief Product Officer bei Neo4j: „Die native Integration in die Snowflake-Plattform bietet Unternehmen damit das volle Potential, um die nächsten Schritte in Richtung KI/ML, Predictive Analytics und Generative AI effektiv zu gehen.“
Neo4j Graph Data Science ist eine Lösung für Analytik und maschinelles Lernen (ML), die verborgene Beziehungen in Milliarden von Datenpunkten identifizieren und in ihrem Kontext analysieren kann. Die Neo4j Library enthält Graph-Algorithmen und ML-Modellierung, mit denen Anwender ihre Vorhersagen verbessern und neue Erkenntnisse gewinnen können. Knowledge Graphen erfassen Beziehungen zwischen Entitäten, verankern LLMs innerhalb von Fakten und liefern damit die für GenAI-Anwendungen notwendige Erklärbarkeit, Aktualität, Genauigkeit sowie Kontext für relevante Antworten. Zu den Kunden von Neo4j Graph Data Science gehören u.a. Boston Scientific, Novo Nordisk, OrbitMI.
Gartner z.B. prognostiziert, dass Graphtechnologie bis 2025 in 80 Prozent der Daten- und Analyseinnovationen zum Einsatz kommt. 2021 gingen die Analysten noch von 10 Prozent aus*. Entscheidend sei das Zusammenspiel zwischen der Performance großer Sprachmodelle (LLMs) und der „Robustheit“ von Knowledge Graphen, um fehlertolerante KI-Anwendungen zu entwickeln**. Quellenangabe:
*Gartner „Emerging Tech Impact Radar: Data and Analytics. (November 2023)
**Gartner „AI Design Patterns for Knowledge Graphs and Generative AI”. (November 2023)
Querverweis:
Unser Beitrag > Gigamon Precryption-Technologie: Deep Observability für verschlüsselten Datenverkehr
Unser Blogpost > Bessere KI-Ergebnisse mit Graphdatenbank-Technologien?
Unser Beitrag > Energieeffiziente Big Data Softwareentwicklung mit Green Coding und Data Streaming