In der Welt der künstlichen Intelligenz (KI) stehen Unternehmen wie OpenAI vor unerwarteten Herausforderungen und Verzögerungen bei der Entwicklung größerer Sprachmodelle. Um diese Hürden zu überwinden, setzen sie auf neue Trainingsmethoden, die menschlichere Denkansätze für Algorithmen nutzen.

Wichtige Erkenntnisse

KI-Unternehmen kämpfen mit Verzögerungen und Herausforderungen bei der Schulung neuer großer Sprachmodelle.
Forscher konzentrieren sich auf längere Inferenzzeiten in neuen Modellen.
Diese Verschiebung könnte den Wettbewerb um Ressourcen wie Chips und Energie beeinflussen.

Die KI-Welt hat sich in den letzten Jahren rasant entwickelt, insbesondere nach dem Erfolg von ChatGPT. Doch nun zeigen führende KI-Wissenschaftler, dass die Philosophie "größer ist besser" an ihre Grenzen stößt. Ilya Sutskever, Mitbegründer von OpenAI, hat kürzlich erklärt, dass die Ergebnisse des Hochskalierens von Vortrainingsphasen stagnieren. Dies bedeutet, dass die bisherigen Methoden zur Verbesserung von KI-Modellen nicht mehr die gewünschten Fortschritte bringen.

Sutskever, der als Pionier in der Nutzung großer Datenmengen für die Entwicklung von KI gilt, betont, dass die Branche nun in eine Phase der Entdeckung und des Wandels eintritt. Er und sein Team bei Safe Superintelligence (SSI) arbeiten an alternativen Ansätzen, um die Herausforderungen des Hochskalierens zu bewältigen.

Ein zentrales Problem ist, dass große Sprachmodelle enorme Datenmengen benötigen und die leicht zugänglichen Datenquellen erschöpft sind. Zudem erfordern die Trainingsläufe immense Energiemengen, was durch aktuelle Stromengpässe zusätzlich erschwert wird.

Um diese Herausforderungen zu meistern, erforschen Forscher Techniken wie "Testzeit-Compute", die bestehende KI-Modelle während der Inferenzphase verbessern. Anstatt sofort eine einzige Antwort zu wählen, könnte ein Modell mehrere Möglichkeiten in Echtzeit generieren und bewerten, um die beste Lösung zu finden. Diese Methode ermöglicht es den Modellen, mehr Rechenleistung für komplexe Aufgaben wie Mathematik oder Programmierung zu nutzen.

Ein Beispiel für den Erfolg dieser Technik ist das neue Modell von OpenAI, bekannt als "o1", das in der Lage ist, Probleme in mehreren Schritten zu "denken", ähnlich wie Menschen. Dieses Modell nutzt Daten und Feedback von Experten, um seine Leistung zu steigern. OpenAI plant, diese Technik auch auf größere Basis-Modelle anzuwenden.

Gleichzeitig arbeiten andere führende KI-Labore, darunter Anthropic und Google DeepMind, an eigenen Versionen dieser Technik. Die Auswirkungen dieser Entwicklungen könnten die Wettbewerbslandschaft für KI-Hardware verändern, die bisher von der unstillbaren Nachfrage nach Nvidia-Chips dominiert wird.

Investoren, die Milliarden in die Entwicklung von KI-Modellen gesteckt haben, beobachten diese Veränderungen genau. Die Verschiebung hin zu Inferenz-Clouds könnte die Nachfrage nach Nvidia-Chips, die für das Training von KI-Modellen entscheidend sind, beeinflussen. Nvidia hat bereits auf die steigende Nachfrage nach Chips für Inferenz hingewiesen und betont, dass die Entdeckung neuer Skalierungsgesetze die Nachfrage nach ihren neuesten Chips erhöht hat.

Insgesamt zeigt sich, dass die KI-Branche vor einem Wendepunkt steht, an dem neue Ansätze und Technologien erforderlich sind, um die Herausforderungen der nächsten Generation von KI-Modellen zu bewältigen. Die Suche nach innovativen Lösungen könnte nicht nur die Entwicklung intelligenterer KI vorantreiben, sondern auch die gesamte Branche neu gestalten.