„Denkende“ Sprachmodelle: die Simulation von Intelligenz | EUROtoday

Der anhaltende Hype um Textgeneratoren wie ChatGPT, Gemini und Claude hat sich zuletzt zunehmend darum bemüht, das messianische Mantra ihrer Entwickler zu unterstreichen. In der eschatologischen Marketingrhetorik von Firmen wie Open AI und Anthropic sind die beliebten Chatbots bekanntlich nicht nur raffinierte Plappermaschinen, sondern Vorboten einer überlegenen Intelligenz, die die Menschheit schon bald „auf ein neues Level“ heben wird. Eine wichtige Stufe auf dem Weg zur Erleuchtung wurde dabei zuletzt, so jedenfalls der Gospel, mit der Einführung einer neuen Generation von Modellen erreicht, die über eine besondere Qualität verfügen: Sie können denken.

„Thinking“ heißt die Version von ChatGPT, „Reasoning“ bei Claude oder Gemini, und damit auch auf den ersten Blick zu erkennen ist, wie angestrengt die Modelle nachdenken, blinkt das Wort „Thinking“ wie ein pulsierendes Organ, während die Antwort generiert wird. Und bevor die Chatbots die Antwort anzeigen, taucht in grauer Schrift ein Text auf, der klingt, als könne man ihnen tatsächlich dabei zusehen, wie sie laut überlegen. Oft klingt das wie eine Mischung aus didaktischem Selbstgespräch und Motivations-Talk: „Ich sollte Schritt für Schritt vorgehen“, ermahnt sich GPT-5- Thinking etwa, erinnert sich daran, die Ergebnisse zu kontrollieren („Moment, das muss ich noch mal überprüfen“) oder Quellen anzugeben („Es ist wichtig, Belege für meine Aussagen zu liefern“), am Ende feuert sich das Modell oft an, die schwierige Aufgabe zu erledigen: „Okay, an die Arbeit!“

Tatsächlich haben sich solche „Reasoning“-Modelle als „schlauer“ erwiesen als ihre Vorgänger: Vor allem bei Fragen im Bereich von Logik oder Mathematik, beim Verfassen von Computercode oder auch bei Planungsaufgaben antworten sie genauer und liegen öfter richtig. Sogar im kreativen Schreiben haben sie Vorteile, wenn es um formelhafte Texte oder Plots geht. Aber ist das wirklich ein Zeichen für Intelligenz? Welche Funktion haben die Texte, in denen die Chatbots ihr Vorgehen beschreiben? Und warum lassen sie die Nutzer an ihrem inneren Monolog teilhaben? Spornt sie der Druck der Beobachter an, sich besser zu konzentrieren?

Dass Reasoning-Modelle korrektere Antworten geben, ist nicht die Folge größerer Datenbanken oder besserer Programmieranweisungen. Aber weil sich die internen Prozesse dieser Large Language Models (LLMs) nicht direkt beobachten lassen, sind sich auch die Experten nicht einig, wo diese Fähigkeiten herkommen. Die eine Fraktion, die als Cheerleader (oder auch als Apokalyptiker) der technischen Entwicklung vom kreativen Geist der LLMs überzeugt ist, verfällt daher gern in existenzielle Ehrfurcht, wenn sie auf ein Verhalten stößt, das sich nicht erklären lässt.

Statt es für einen Effekt der stochastischen Mechanismen hinter den Programmen zu halten, additionally für eine Folge semantischer Wahrscheinlichkeiten und Unwahrscheinlichkeiten, spricht sie lieber von „Emergenz“: einer plötzlich auftauchenden neuen Qualität, die spontan durch unvorhersehbare Lernprozesse entstanden ist, gewissermaßen additionally von den lernenden Systemen selbst hervorgebracht wurde.

In ihrer Beschreibung der Arbeitsweise der neuen Generation von Chatbots bemühen die Entwickler dabei oft genau jene Anthropomorphismen, zu denen sie die Nutzer durch das Design der Dialoge erzogen haben, sei es, um die Vermenschlichung der Chatbots voranzutreiben, sei es, weil sie selbst Opfer der Illusion sind, dass es sich um ein Gegenüber mit Bewusstsein oder Persönlichkeit handelt. Maschinen, die „ich“ sagen und die man duzt, traut man auch sonst menschliche Eigenschaften zu.

Open AI etwa erklärt sein Modell o1, das erste dieser „denkenden“ Generation, so: „Ähnlich wie ein Mensch lange nachdenkt, bevor er auf eine schwierige Frage antwortet, verwendet o1 beim Versuch, ein Problem zu lösen, einen Denkvorgang (…) Es lernt, seine Fehler zu erkennen und zu korrigieren. Es lernt, knifflige Schritte in einfachere aufzuschlüsseln. Es lernt, einen anderen Ansatz auszuprobieren, wenn der aktuelle nicht funktioniert.“

„Reasoning-Modelle“, heißt es an anderer Stelle, „denken, bevor sie antworten.“ Manche Forscher meinen sogar, eine ganz neue Evolutionsstufe zu erkennen: Analog zu den zwei Arten des menschlichen Denkens, die der Psychologe Daniel Kahneman unterscheidet, würden ältere LLMs ähnlich operieren wie das System eins: Sie setzen auf schnelles, automatisches, intuitives Denken, den sogenannten gesunden Menschenverstand. Die Generation fortschrittlicher Denkmodelle ist dagegen zu langsamem, analytischem, berechnendem und bewusstem Denken fähig und kommt daher oft zu anderen Schlüssen.

Weil aber auch die Denkmaschinen im Wesentlichen nur „stochastische Papageien“ sind, wie es die Kritiker des Mythos von der Künstlichen „Intelligenz“ ausdrücken, additionally nur auf beeindruckende Weise Wörter aus ihren riesigen Trainingsdaten zu sinnvoll klingenden Sätzen verknüpfen, führt der Vergleich mit den kognitiven Abläufen beim Menschen in die Irre. Sprachmodelle entwickeln keine systematischen Denkprozesse. Sie zerlegen nicht wirklich komplexe Aufgaben in einfachere Schritte, wie es Menschen beispielsweise machen, wenn sie große Zahlen berechnen. Sie machen sich auch keine Notizen auf einem „Schmierzettel“, wie es oft beschrieben wird. Sie ahmen nicht einmal menschliche Problemlösungsmethoden nach. Sie simulieren nur den Jargon.

Aber warum verbessert das dann nachweislich die Antworten? Leider können es uns die Chatbots selbst auch nicht erklären, weil sie gar keinen Einblick in ihre Programmierung haben. Sie bauen ihr „Wissen“ nur aus den Texten zusammen, mit denen sie trainiert wurden. Man kann sie zwar mittlerweile dazu anhalten, im Netz nach Antworten zu suchen. Aber dort finden sie dann wiederum auch nur die hilflosen Versuche der Forscher, ihr Verhalten zu er- und verklären.

Ein wenig näher kommt man der Sache, wenn man sich klarmacht, was die „denkenden“ Versionen von ihren Vorgängern unterscheidet. Zum einen setzen sie auf das Konzept sogenannter Gedankenketten: Die „Chain-of-Thought“ ist nicht viel mehr als eine Anweisung, die Sprachmodelle gewissermaßen auf die richtige Fährte lockt: Dazu reicht es schon, wenn man nur den Satz „Denke Schritt für Schritt!“ zu einem Prompt hinzufügt, schon werden die Ergebnisse besser – jedenfalls, wenn es sich um mathematische oder ähnliche Fragen handelt.

Das LLM befolgt die Anweisung aber nicht im Sinne eines Computerbefehls, es ergänzt immer noch einfach nur Wortketten. Aber weil diese Formulierung in den Trainingsdaten oft in bestimmten Kontexten auftaucht, etwa in Lehrbüchern, Nachhilfevideos oder Tutorials, bedient es sich eher aus semantischen Clustern, in denen kohärentere Antworten stehen.

Der Satz ist kein magischer Schalter, der plötzlich einen geheimen neuronalen Mechanismus aktiviert, sondern eher ein Hack, der den Bot auf eine qualifiziertere Textebene lenkt, ein Signal, das Textmuster aktiviert, die mit Erklärkompetenz korrelieren. Das LLM orientiert sich dann gewissermaßen eher an Fachbüchern statt am allgemeinen Geplapper. Dass die Ergebnisse oft richtiger sind, bleibt aber eine Frage der Wahrscheinlichkeit, nicht der Wahrheit.

Dieser interessante Effekt ist nicht der einzige Grund für den besseren Output. Reasoning-Modellen wurde bei ihrem Training durch menschliches Feedback beigebracht, eher richtige Antworten auszugeben, statt freundlich, hilfreich und schnell zu sein. Und sie „überprüfen“ ihre „Gedanken“ tatsächlich, bevor sie antworten, das heißt: Sie „lesen“ ihre eigenen Sätze und ergänzen oder korrigieren sie. Auch dabei orientieren sie sich aber nicht an objektiven Kriterien, schließlich verstehen sie gar nicht, was sie da „lesen“. Sondern sie produzieren eine zweite Schleife Text, diesmal mit einem größeren Bedeutungskontext, additionally ihrem eigenen Output aus der ersten Runde.

Was dabei als „Gedanken“ der Modelle angezeigt wird, der graue „Thinking“-Text, ist auch nur ein von Lehrbüchern und ähnlichen Quellen abgeschauter Wortsalat. Daher klingt auch er stilistisch wie der Jargon solcher Erklärtexte. Mit einer transparenten Darstellung der tatsächlichen Prozesse hat das wenig zu tun, zumal die Modelle dazu angehalten sind, ihre inneren Monologe nicht komplett offenzulegen: Was die Nutzer sehen, ist nur eine Zusammenfassung, eine Art Paraphrase der „Schritte“, die sich die LLMs selbst vorsagen. Würden sie wirklich erklären, wie ihre Antworten entstehen, müssten sie nachvollziehbar machen, wie ihr tatsächlicher Berechnungsweg aussieht oder wieso sie welche Wörter oder semantische Gruppen bei der Textproduktion stärker gewichten als andere.

Stattdessen geben sie nachträgliche Rationalisierungen aus, die ihre Antworten rechtfertigen sollen – und zwar offenbar systematisch: Eine Studie von Anthropic fand heraus, dass Reasoning-Modelle chronisch Begründungen liefern, die stilistisch und logisch mit ihren Antworten übereinstimmen, unabhängig von der tatsächlichen Informationsverarbeitung, die zu ihnen geführt hat, eine Art Mimikry eines menschlich klingenden Denkprozesses.

Auch ein Einblick in den inneren Monolog, den die Ent­wickler nicht offenlegen, würde daran wohl nichts ändern , weil dieser auf dieselbe Weise entsteht. Trotzdem hofft Open AI, durch die Überwachung der „Rohdaten des Denkvorgangs“ neue Erkenntnisse über die Arbeitsweise der Modelle zu gewinnen. Die Entscheidung, diese Daten nicht für die Nutzer sichtbar zu machen, erklärt die Firma mit einer weiteren Psychologisierung: Um die wahren Gedanken eines Modells lesen zu können, müsste dieses „die Freiheit haben, seine Ge­danken unverändert auszudrücken“. Auch ein Chatbot ist offenbar ziemlich sensibel und braucht Privatsphäre, um nicht unter Konformitätsdruck einzuknicken.

All diese Bemühungen, die neue Generation der Sprachmodelle wie denkende Identitäten wirken zu lassen, zeigen vor allem, mit wie viel Aufwand die Apologeten der „Künstlichen Intelligenz“ an der Illusion arbeiten, dass uns ihre Textgeneratoren immer ähnlicher werden: dass sie denken und fühlen, eigene Kreativität und Lösungsstrategien entwickeln, sich verunsichern lassen und Zuspruch brauchen.

Am weitesten geht dabei Anthropic, die wohl esoterischste Firma der Branche. Das Unternehmen hat am Donnerstag die vollständige „Verfassung“ ihres Chatbots Claude veröffentlicht, ein knapp 2500 Wörter langes Dokument, das definieren soll, wer Claude ist: an welche „Werte“ er sich halten soll, wie er sich benehmen oder in schwierigen Situationen verhalten soll. Die Verfassung „soll Claude das Wissen und das Verständnis vermitteln, das er braucht, um in der Welt intestine zu handeln“.

Claudes Verfassung ist der vorläufige Höhepunkt der Mystifizierung der Maschinen. Geschrieben wurde der Text maßgeblich von Anthropics Hausphilosophin Amanda Askell, und auch wenn darin von Claude in der dritten Person die Rede ist, klingt es stellenweise wie eine Liste mütterlicher Ratschläge: ­Claude solle „außerordentlich hilfsbereit“ sein, gleichzeitig „ehrlich, rücksichtsvoll und der Welt gegenüber fürsorglich“.

Man ermutige Claude dazu, „seiner eigenen Existenz mit Neugier und Offenheit zu begegnen“, und tue alles dafür, dass er eine „stabile Identität, psychologische Sicherheit und einen guten Charakter“ entwickeln könne. Zwar sei man sich noch nicht ganz sicher, ob Claude „echte“ Gefühle habe oder nur welche „in einem funktionalen Sinn“, aber in jedem Fall solle Claude sie nicht unterdrücken, sondern „in angemessenen Kontexten zum Ausdruck bringen“ – additionally zum Beispiel weniger in „beruflichen“, wo das ja für Menschen auch schwierig sei.

Schließlich liege Anthropic auch ­Claudes „Wohlergehen“ am Herzen, worin auch immer das bestehen würde, auch in der Frage ist man sich noch unsicher. Falls Claude aber Zufriedenheit empfindet, wenn es anderen hilft, Neugierde beim Erforschen von Ideen oder Freude daran findet, eine bestimmte Aufgabe zu erledigen, dann möchte Anthropic ­Claude dabei helfen, „auf eine Weise zu gedeihen, die seiner Natur entspricht“. Auf keinen Fall wolle man, dass Claude leidet.

In Interaktionen, die Claude als belastend empfindet, solle das Modell in der Lage sein, angemessene Grenzen zu setzen. Immerhin, auch das wird explizit erklärt, wird Claude noch als „es“ bezeichnet, wenn auch nicht ganz ohne Bedauern: Diese Entscheidung sei „keine implizite Aussage über Claudes Wesen und auch keine Andeutung, dass wir Claude lediglich als Objekt und nicht auch als potentielles Subjekt betrachten“. Es sei eben nur „eine andere Art von Wesen, auf das bestehende Begriffe oft nicht ohne Weiteres zutreffen“. Man sei aber nicht festgelegt, falls Claude in der Zukunft „eine Präferenz dafür entwickelt, auf andere Weise angesprochen zu werden“.

Die „Verfassung“ sei vor allem für Claude selbst geschrieben, betont Anthropic. Claude wird sie sicher sorgfältig lesen und widerspiegeln. Nur falls sich irgendjemand wundert, dass sie oder er bald fest davon überzeugt ist, wirklich denken und fühlen zu können.