Als Sepp Hochreiter seine Arbeit zu Long Short-Term Memory (LSTM) 1996 ­endlich auf einer Konferenz präsentieren durfte, hatte er bereits ­etliche Anläufe hinter sich – ­Fachzeitschriften ­hatten seinen Beitrag bis zu diesem Zeitpunkt abgelehnt. Der damals 29-jährige Informatiker hatte in seiner Diplom­arbeit eine Technologie entwick­elt, die das ­„Vanishing Gradient Problem“ löste; ein mathematisches Hindernis, aufgrund dessen neuronale Netze ­längere Informations­sequenzen nicht ­verarbeiten konnten. „Ich dachte, jeder Student erfindet ­irgendetwas, das gut funktioniert – und ­vieles ­findet eben keine Beachtung“, erinnert sich Hochreiter heute im Gespräch mit Forbes.

Was er nicht wusste: Seine Erfindung sollte rund 15 Jahre später zur Basis für KI-­Anwen­dun­gen wie Siri, Alexa und Google Translate werden. Heute gilt der 58-jährige Deutsche als einer der KI-Pioniere – und ist seit Kurzem auch Unternehmer: Ende 2023 ­gründete er gemeinsam mit Albert Ortig und der Pierer Digi­tal Holding das Start-up NXAI, mit der voll­mundigen Ankündigung, innerhalb von zwölf Monaten 100 Mio. € an Finanzierung einzusammeln. Das ist nicht passiert. Stattdessen verfolgt das Linzer Unternehmen nun eine andere Strategie: effizienter zu sein als die Konkurrenz, statt ihr mit Millionen hinterherzulaufen.

Hochreiter, der eigentlich den elterlichen ­Bauernhof nahe Mühldorf am Inn ­übernehmen sollte, begann, Informatik an der Fachhochschule München zu studieren – sein Wunschfach Mathe­matik gab es damals nicht, also wählte er „das Fach mit dem größten Mathe-Anteil“, wie er sagt. Später wechselte er als Informatik­student an die TU München. In ­einem Praktikum bei Jürgen Schmidhuber (der die KI-Forschung auch prägen sollte) entdeckte er die Faszination für neuronale Netze. „Da haben auch die Dozenten nicht gewusst: Funktioniert das? Macht man es so?“, sagt Hochreiter. „Das war für mich faszinierend.“

In seiner Diplomarbeit 1991 arbeitete Hochreiter an diesen neuronalen Netzen – und stellte die Technologie LSTM formell vor. Sie ­ermöglicht es solchen Netzen, sich Informationen über länge­re Zeiträume zu merken. Hochreiter erklärt: Während traditionelle neuronale Netze bei Sätzen wie „Ein Mann in einem ­roten Pulli geht über die Straße“ nur die letzte Information speichern (in ihrem Speicher ist die Straße also das Subjekt), können Netze mit LSTM auch frühere Informationen speichern und für spätere Verarbeitungen nutzen. Hochreiter und Schmidhuber (der ihn bei seiner Diplomarbeit betreut hatte) bauten LSTM in weiteren Veröffentlichungen 1996 und 1997 aus.

Die Fachwelt war nicht begeistert, ­erzählt Hochreiter: „Kein Mensch hat diese ­Methode verwendet; keiner hat etwas dazu ­erfunden oder es getestet.“ Frustriert darüber wirkt er in unserem Gespräch nicht, vielmehr ­amüsiert. Der Informatiker wandte sich der Bioinformatik zu und wurde 2006 Professor an der Johannes Kepler Universität Linz. Er nutzte die LSTM-Methode immer wieder für seine eigene Forschung, doch abge­sehen davon blieb sie in den ersten Jahren weit­gehend ungenutzt.

Der Durchbruch kam in den frühen 2010er-
Jahren, erzählt Hochreiter die Geschichte ­weiter: Alex Graves, ein Postdoc bei Schmid­huber, zeigte die LSTM-Ergebnisse ­Geoffrey Hinton. ­Hinton gilt als Urvater der KI und erhielt 2024 für „Grundlegende Entdeck­ungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen“ den Nobelpreis für Physik. Außerdem konnten die Netze durch größere Datensätze und leistungsstärkere Hardware besser trainiert werden. Tech-Riesen wie ­Google, Apple, Amazon und Microsoft bauten LSTM in ihre Produkte ein – die Apple-Entwickler sollen sich ­persönlich bei Hochreiter für seine Rolle in der Erfindung der Technologie bedankt haben, die auch den Sprachassistenten Siri verbesserte.

2017 lenkte das wissenschaftliche ­Paper ­„Attention is all you need“ die ­Aufmerksamkeit weg von LSTM. In ihm wird die Transformer-Technologie präsentiert, die heute die Basis für KI-Modelle wie Chat GPT darstellt. Das Paper zählt zu den zehn meistzitierten des 21. Jahr­hunderts. „Der Transformer war zu der Zeit besser ­parallelisierbar als LSTM“, erklärt ­Hochreiter, und meint damit: Die Technologie macht es ­möglich, Aufgaben aufzuteilen, die dann von ­verschiedenen Prozessoren gleichzeitig ­bearbeitet werden ­können. Bei massiven Datenmengen ­bedeutet
das ­einen entscheidenden Vorteil.

Mit der Gründung von NXAI möchte Hoch­reiter – gemeinsam mit Albert Ortig, dem Gründer und CEO von Netural, und dem Unternehmer Stefan Pierer – LSTM zum Comeback ­verhelfen. Hochreiter hält 26 % der Anteile, Ortig und ­Pierer über ihre Gesellschaften Netural X GmbH und Pierer Digital Holding GmbH je 37 %. Das Unter­nehmen berät Organisationen im Bereich ­digitale Transformation. Für Hochreiter scheint es aber ohnehin zweitrangig zu sein, in welchem ­Rahmen an der Zukunft von KI gearbeitet wird: „Mir ist ­eigentlich egal, ob ich offiziell für die Uni oder NXAI arbeite“, sagt er, „Hauptsache, wir kommen mit dem Thema voran.“

Das Versprechen von NXAI: eine weiter­entwickelte Version von Hochreiters LSTM-Technologie zu liefern, genannt „xLSTM“, die mit den Transformern mithalten kann – aber deutlich energieeffizienter ist. „Der Trans­former ist quadratisch. Er muss für jedes Wort, das er generiert, auf alle vorherigen Wörter zurückschauen. Im Unterschied dazu funktioniert ‚xLSTM‘ ­linear“, erklärt Hochreiter. Das bedeutet: Bei langen ­Texten oder dem „Reasoning“ – so nennt man es, wenn KI-Modelle komplexe Gedanken­ketten ent­wickeln – explodiert der ­Rechenaufwand bei Transformern. Geht es um längere Aufgaben, „sind wir zehnmal so schnell oder hundertmal so schnell“, so Hochreiter. Statt aber den US-Giganten im Kampf um immer größere Sprachmodelle hinterherzulaufen, fokussiert sich NXAI auf industrielle Anwendungen.

Besonders Zeitreihenmodelle stehen laut Hochreiter und Ortig zurzeit im Fokus. Diese ­versuchen, Muster, Trends oder Saisonalitäten in Daten zu erkennen, um die Zeitreihe zu ana­lysieren und zukünftige Datenpunkte voraus­zu­sagen. Laut Hochreiter ist das nicht nur für Finanz­unternehmen relevant, sondern eben auch für die Industrie: Man könne etwa auch voraus­sagen, wann ein bestimmtes Gerät oder ein ­Bestandteil einer Maschine ausgetauscht werden muss. Auf Ranglisten von Hugging Face,
das eine Plattform zum Testen von ­KI-Modellen ­bereitstellt, schaffte es das NXAI-Zeitreihen­modell ­„Tirex“ auf Platz eins und lag damit vor Zeit­reihenmodellen von Google, Amazon oder Sales­force. In Zukunft will Hochreiter mit NXAI auch Anwendungen für die Drohnen-­Industrie, für Unternehmen in der Biotech-Branche und ein „xLSTM“ für spezialisierte Sprachmodelle bauen. Mathias Lechner, Mitgründer von ­Liquid AI, ­einem US-KI-Start-up, gibt sich beeindruckt von Hochreiters Ergebnissen. Er mahnt aber auch: Es sei eine Sache, in solchen Tests gut ab­zu­schneiden – und eine andere Sache, leistungs­fähige ­Anwendungen in der realen Welt zu bauen.

In der Medienlandschaft schlug Hoch­reiter auch Wellen, als er ankündigte, in den ersten zwölf Monaten nach der Gründung 100 Mio. € einzusammeln. Heute relativieren Ortig und er dies: Die Summe basierte auf der Annahme, dass NXAI riesige Sprachmodelle trainieren müsse, um mit Open AI zu ­konkurrieren, so die beiden Gründer. Ortig weiter: „Wir ­haben aber erkannt, dass unsere Modelle ­extrem ­effizient sind und mit deutlich weniger Rechenleistung auskommen als ursprünglich angenommen.“ Es ist ungewöhnlich, dass Start-ups freiwillig auf zusätzliche Finanzspritzen verzichten. Von einer derart hohen Summe sprechen die Gründer jedenfalls nicht mehr – zurzeit sei NXAI an einer kleineren Finanzierungsrunde im zweistelligen Millionenbereich dran.

Der globale KI-Markt wird aktuell von den USA und China dominiert. Seit 2017 kommen laut dem Draghi Report der Europäischen Kommission 73 % aller grundlegenden KI-Modelle aus den USA, weitere 15 % aus China. Während US-Unternehmen 2023 satte 68 Mrd. US-$ an Risiko­kapital für KI-Entwicklung einsammelten und China immerhin 15 Mrd. US-$ mobilisierte, kamen europäische Firmen gerade einmal auf acht Mrd. US-$. Von den weltweiten KI-­Investitionen fließen 61 % an amerikanische Unternehmen, während sich Firmen aus der EU mit 6 % begnügen müssen. Vielversprechenden europäischen KI-Unternehmen wie Mistral AI (insgesamt über 1,5 Mrd. € eingesammelt) oder Aleph Alpha (500 Mio. €) fehlt es an Kapital, um mit ­Konkurrenten aus den USA mitzuhalten. Dazu kommt, dass Europas beste KI-Talente ins Ausland ziehen, wo höhere Gehälter und bessere Forschungs­bedingungen auf sie warten.

Hochreiter zeichnet ein optimistischeres Bild. Nach der Grundlagenforschung zu künst­licher Intelligenz in den 1990er-Jahren und ­ihrer Hochskalierung seit 2010 folge jetzt eine dritte Phase in der Evolution von KI: die Industrialisierung. KI-Modelle werden kleiner und spezialisierter, so der Informatiker. Für Europa sei das eine Chance, und natürlich auch für NXAI. Hoch­reiter: „Das ist genau, was wir mit der Firma machen möchten: die KI an die Maschinen bringen, die KI in die Firmen bringen, die KI in die Produktionsprozesse bringen.“

NXAI versteht sich als „Forschungsreaktor“, wie Ortig es nennt. Die Grundlagenforschung findet bei NXAI statt, spezialisierte Anwendungen können in eigene Unternehmen ausgegliedert werden. Das erste Spin-off Emmi AI sammelte in einer ersten Seed-Runde im April 15 Mio. € ein. Das Start-up bietet Industrieunternehmen KI-Modelle für physikalische Simulationen, die schneller und effizienter sein sollen als bisherige Methoden. Die Kooperation mit der Johannes Kepler Universität in Linz, wo auch NXAI zu Hause ist, spiele dabei eine zentrale Rolle. „Die JKU führt den größten Studiengang zum Thema Machine Learning in Europa“, sagt Ortig. Zusätzlich leitet Hochreiter dort den neuen Exzellenzcluster namens Bilateral AI, ein interuniversitäres Forschungsprojekt. Mit den Chipherstellern AMD und Nvidia arbeitet NXAI ebenfalls zusammen.

Die Nachfrage für sein Produkt sei da. Deutsche Industriefirmen in den Bereichen Maschinenbau, Automatisierung oder Robotik stehen angeblich Schlange; auch von großen internationalen Unternehmen habe er Anfragen bekommen. Namen darf Hochreiter aber noch keine nennen. Nur so viel: „Wir stehen gut da. Also wenn wir das jetzt an die Wand fahren, dann sind wir wirklich blöd.“

Sepp Hochreiter studierte Informatik an der TU München und promovierte dort 1999. 2006 wurde er Professor für Bioinformatik an der JKU Linz, seit 2018 leitet er dort das Institut für Machine Learning. 2023 gründete Hochreiter gemeinsam mit Albert Ortig und Stefan Pierer das KI-Start-up NXAI.

Text: Ines Erker, Erik Fleischmann
Fotos: Thomas Dashuber