Linz (A), Starnberg, 08. Febr. 2024 - Europäisches LLM mit xLSTM; der Unterschied liegt im Algorithmus: laut Sepp Hochreiter leistungsstärker als GPT-Transformermodelle…

Zur Ankündigung: KI-Pionier Sepp Hochreiter, Company Builder Netural X sowie PIERER Digital Holding haben das Unternehmen NXAI GmbH gegründet. Ziel: die europäische KI-Spitzenforschung umfangreich zu fördern und innovative KI-Lösungen für den internationalen Markt zu entwickeln. Erster Fokus ist danach die Weiterentwicklung der neuen europäischen Large Language Model Technologie xLSTM. Dabei ist sowohl die gesamte Technologie als auch der xLSTM-Algorithmus eine vollständig europäische Entwicklung. Zwischen der Johannes Kepler Universität Linz (JKU) und NXAI wurde eine Forschungskooperation vereinbart, um bisherigen Erkenntnissen rund um xLSTM zur Marktreife zu verhelfen.

Mit der im Dezember 2023 gegründeten NXAI soll laut der offiziellen Verlautbarung (Zitat) „ein neues Zentrum für KI-Forschung und -Produktentwicklung im Herzen Europas entstehen, an dem der Grundstein für europäische KI-Anwendungen auf wettbewerbsfähigem, globalen Niveau gelegt und ein eigenes Large Language Model gebaut wird“.

• Im ersten Schritt plant NXAI dazu die technologische Spitzenforschung um Large Language Models (LLM) und insbesondere den von Hochreiter entwickelten xLSTM-Algorithmus forcieren.

• Erste Ergebnisse zeigen laut vorliegenden Informationen, dass xLSTM effizienter (mit weniger Rechenkapazität), schneller und vor allem besser (höhere Genauigkeit) arbeitet als alle bisherigen LLMs. Insbesondere versteht xLSTM die Semantik von Texten besser als die bisherigen LLMs und kann dadurch komplizierte Texte verstehen und generieren. Darüber hinaus wird NXAI zukünftig weltweit führende algorithmische Methoden im Bereich Deep Learning erforschen, z.B. zur Beschleunigung von Simulationen komplexer dynamischer Systeme.

Das europäische Large Language Model xLSTM: Der Unterschied liegt im Algorithmus

KI-Vordenker Sepp Hochreiter legte den Grundstein bereits 1991 und erfand die LSTM (Long Short Term Memory)-Technologie. Damit ebnete er den Weg zur heutigen Form der Künstlichen Intelligenz. Die Technologie war bis 2017 die führende Methode in der Sprachverarbeitung und der Textanalyse und wurde bis heute milliardenfach in Smartphones eingesetzt. 2023 gelang dem KI-Experten mit xLSTM ein weiterer Durchbruch.

Aktuelle Large Language Modelle basieren auf den sogenannten Transformermodellen

Diese benötigen im laufenden Betrieb sehr hohe Rechenleistungen, wenn der Text lang ist. Die Transformer-Berechnungen steigen somit quadratisch mit der Textlänge. Im Gegensatz dazu steigen die xLSTM-Berechnungen nur linear mit der Textlänge und brauchen im laufenden Betrieb weniger Rechenleistung. Das ist ein großer Vorteil, da komplexe Aufgaben viel mehr Text sowohl zur Aufgabenbeschreibung als auch zur Lösung brauchen. Erfreulicherweise werden so z.B. mit xLSTM industrielle Anwendungen möglich, für die Transformermodelle zu langsam sind.

• xLSTM besitzt, wie auch Transformermodelle, einen phonetischen Speicher. Allerdings ist der Algorithmus mit einer weiteren Komponente ausgestattet, die zu einer größeren Ähnlichkeit mit dem menschlichen verbalen Arbeitsgedächtnis führt. Dadurch ist der xLSTM-Algorithmus laut Entwickler um ein vielfaches leistungsstärker.
• Mit ihrer gesteigerten Effizienz und Leistung in der Verarbeitung von Texten soll die xLSTM-Technologie einen neuen Standard in der KI-Sprachverarbeitung setzen können.

Zwischen der JKU Linz und NXAI wurde eine Forschungskooperation vereinbart, um bisherigen Erkenntnissen rund um xLSTM zur Marktreife zu verhelfen. Das Ziel von NXAI ist die engere Verzahnung von Wissenschaft und Wirtschaft, um einen erfolgreichen Technologietransfer von KI-Lösungen sicherzustellen. Im ersten Schritt wird die Finanzierung durch PIERER Digital Holding als Mitgesellschafter von NXAI sichergestellt.

Das Foto zeigt Sepp Hochreiter, Director R&D / Gesellschafter (Bildquelle / externer Link > https://www.nx-ai.com/de )

Fazit und Kommentar von Sepp Hochreiter, der letztes Jahr mit dem deutschen KI-Innovations-Forschungspreis ausgezeichnet wurde: “Mit xLSTM haben wir die Möglichkeit, die KI-Technologie vom Herzen Europas aus zu revolutionieren und die Vorherrschaft von Transformermodellen zu brechen. Diese Chance möchten wir unbedingt nutzen. Daher bin ich sehr froh über die Zusammenarbeit der JKU mit NXAI. Durch NXAI erhalten wir eine erste Startfinanzierung für dringend notwendige Rechnerkapazitäten, mit denen wir xLSTM weiterentwickeln, testen und vor allem hochskalieren können.”


Querverweis:

Unser Beitrag > Deutscher KI-Entwickler Aleph Alpha sichert sich Gesamtfinanzierung von 500 Mio. US-Dollar

Unser Beitrag > GenAI-Startups in Europa: appliedAI-Studie zu Finanzierung, Regulierung und Rechenkapazität