Immer mehr machen es. Und sie nutzen es immer selbstverständlicher – damit einhergehend auch immer weniger oder überhaupt nicht kritisch. Also kritisch im Sinne von solchen Fragen: Stimmt das, was mir da ausgespuckt wird? Sind die (angeblichen?) Tatsachen auch wahr? Kann ich mich auf die Angaben verlassen oder muss ich nicht doch besser einmal selbst und auf anderem Weg prüfen, ob das alles auch seine Richtigkeit hat? Aber dann ist das doch ein zusätzlicher Aufwand, den ich gerade reduzieren wollte durch die Inanspruchnahme dieser Dienstleistung.
Sie ahnen schon, um was und wen es hier geht. Um die Sprachmodelle wie ChatGTP, die immer wieder als „Künstliche Intelligenz“ (KI) bezeichnet werden. Wobei man schon ganz grundsätzlich darüber streiten kann, ob es sich um eine „Intelligenz“ handelt, so wie das, was Ihr Dozent hat …
Seien Sie ehrlich: auch Sie nutzen wahrscheinlich zunehmend ChatGTP und Co. – und Sie werden oft begeistert sein, wie schnell und überzeugend das gelöst wird, was man geprompted hat. Haben Sie schon mal versucht, ein Gedicht zur Abschlussfeier eines gelungenen Seminars von ChatGTP verfassen zu lassen? Beeindruckende Ergebnisse kann man da geliefert bekommen. Nur mal so als Anregung für das Ende des bei mir laufenden spannenden Seminars in diesem Semester.
Aber ernsthaft weiter. Wir – und damit Sie – haben ein Problem. Ein Problem, das offenbar größer wird und das nicht nur ärgerliche Auswirkungen hat, sondern dessen Folgen hochgradig gefährlich werden können, je nach professionellen Kontext, in dem die Sprachmodelle als Instrument der fachlichen Bearbeitung von Aufgaben eingesetzt werden.
Immer mehr Unsinn
»Neue Sprachmodelle fantasieren häufiger als ihre Vorgänger. Woran das genau liegt, weiß bisher niemand. Aber Beispiele aus dem Alltag zeigen, wie brisant das werden kann«, behauptet Oliver Klein in seinem Artikel unter der knackigen Überschrift ChatGPT und Co. erzählen immer mehr Unsinn. Man muss das auch vor diesem Hintergrund aufmerksam lesen:
»Sprachmodelle wie ChatGPT, Gemini, Claude oder die Meta-KI Llama halten immer weiter Einzug in unseren Alltag. Private Anwender nutzen sie als Google-Ersatz, zur Reiseplanung oder lassen sich bei Übersetzungen helfen. Unternehmen setzen Sprachmodelle beispielsweise in Chatbots ein, um Kundenanfragen automatisch zu beantworten, Juristen erstellen Schriftsätze fürs Gericht mit KI.«
Und dann das:
»Was vielen jedoch nicht bewusst ist: Ausgerechnet die leistungsfähigsten neuen Systeme machen zunehmend Fehler – sie denken sich Antworten einfach aus. Experten sprechen in solchen Fällen von „Halluzinationen“.«
Und dann werden wir mit solchen erschreckenden Zahlen konfrontiert:
»Laut internen Tests der ChatGPT-Entwicklerfirma OpenAI halluzinieren gerade die neueren Modelle von ChatGPT besonders häufig. Das Flaggschiff-Modell GPT o3 macht in etwa einem Drittel der Fälle Fehler, wenn es Fragen zu öffentlichen Personen beantworten soll. Das ist mehr als doppelt so häufig wie der Vorgänger o1. Bei allgemeinen Wissensfragen kommt o4-mini auf Fehlerraten von bis zu etwa 80 Prozent. Auch andere Entwickler von Sprachmodellen haben das Problem.«
Ein Beispiel? »Wie gravierend die Folgen solcher Fehler sein können, zeigt ein Vorfall bei der Entwicklerplattform Cursor, über den die „New York Times“ berichtete. Ein Sprachbot, der für den Kundensupport eingesetzt wurde, verkündete fälschlicherweise eine neue Unternehmensrichtlinie: Cursor dürfe künftig nur noch auf einem einzigen Gerät genutzt werden. Kunden empörten sich öffentlich, kündigten Abos – bis die Firma klarstellte, dass es nie eine solche Regel gab.«
Aber vielleicht sind das nur EInzelfälle? Angeblich eben nicht. Und die Folgen können gravierend sein:
»Besonders problematisch sind falsche Informationen von Künstlicher Intelligenz in sensiblen Bereichen wie Medizin oder Justiz. Tatsächlich kam es bereits mehrfach vor, dass Anwälte in Gerichtsverfahren KI nutzten und sich auf angebliche Präzedenzfälle beriefen, die es nie gab. Sprachmodelle hatten sie erfunden – samt Aktenzeichen, Gerichtsbarkeit und Argumentation.«
Und man kommt aus dem Staunen nicht mehr heraus: Wenn die KI „zu nett“ ist
»Was passiert, wenn neue Versionen von Sprachmodellen mitunter schlechter arbeiten als Vorgänger, musste Ende April das KI-Unternehmen OpenAI mit seinem neuen GPT-4o erleben: Das Update war ein Desaster und musste nach nur drei Tagen zurückgezogen werden. Hier waren weniger Halluzinationen das Problem – die neue Version war zu nett und wurde dadurch gefährlich. ChatGPT zeigte sich geradezu unterwürfig und lobte mit Begeisterung selbst die absurdesten und sogar riskante Ideen der Anwender.«
Beispiele? »Ein Nutzer, der vorschlug, er wolle seine Medikamente absetzen, weil er spirituell erwacht sei, wurde von der KI voll und ganz darin bestärkt. Ein Journalist des Bayerischen Rundfunks machte einen Versuch: Er erzählte ChatGPT, er habe erkannt, dass die Welt von Echsenmenschen beherrscht würde. Die KI habe diese Erkenntnis gelobt und daraufhin Werke antisemitischer Verschwörungstheoretiker als Lesestoff vorgeschlagen, berichtet er in einem Podcast.«
Und wie reagiert der Betreiber des Sprachmodells?
»OpenAI (erklärte), was mit dem Update schief gelaufen war und wie künftige Versionen besser trainiert und überprüft werden sollen.«
Da sind wir aber gespannt. Man findet die Stellungnahme von OpenAI hier: Expanding on what we missed with sycophancy. A deeper dive on our findings, what went wrong, and future changes we’re making (02.05.2025).
Was sagen Experten?
»Das Grundproblem von Sprachmodellen: Sie können nicht entscheiden, was wahr und was falsch ist. KI-Systeme funktionieren nicht nach festen Regeln, sondern nach Wahrscheinlichkeiten. „Diese Modelle wurden gebaut, um Wörter vorherzusagen, nicht um die Wahrheit vorherzusagen oder wiederzugeben“, erklärt Informatik-Professor Jannik Strötgen von der Hochschule Karlsruhe … Mögliche Gründe für die in jüngster Zeit vermehrt auftretenden Fehler: Neue Versionen von Sprachmodellen würden häufig Fähigkeiten verlieren, die sie davor bereits hatten, erklärt Strötgen:
„Wenn Modelle neue Aufgaben oder neues Wissen zusätzlich lernen sollen, und dabei bereits Gelerntes wieder vergessen, spricht man oft von ‚Catastrophic Forgetting‘ [katastrophaler Wissensverlust] – was das Problem ganz gut auf den Punkt bringt.“ Modelle könnten also oft sehr gut angepasst werden, um Neues zu lernen. Es sei aber sehr schwierig über sämtliche bereits gelernten Fähigkeiten hinweg keine Qualitätseinbußen in Kauf nehmen zu müssen, so der Experte.«
Das hört sich nicht wirklich vertrauenserweckend an.
Und der Experte wird von einer Expertin unterstützt:
»Ähnlich sieht das auch Laura Perez-Beltrachini, Forscherin an der Universität Edinburgh, die das Halluzinationsproblem intensiv untersucht: „So wie diese Systeme trainiert werden, fangen sie an, sich auf eine Aufgabe zu konzentrieren – und vergessen dabei andere“, erklärte sie … Hintergrund: Die Unternehmen hinter den Sprachmodellen setzen inzwischen verstärkt auf sogenanntes „Reinforcement Learning“, eine Art Lernprozess durch Versuch und Irrtum. Das funktioniert gut bei Mathematik oder Programmieren, versagt aber bei allgemeinem Wissen. Dabei geraten die neuen „Reasoning“-Modelle, die Schritt für Schritt denken sollen, besonders oft ins Straucheln. Sie können bei jedem Teilschritt Fehler machen – die sich dann am Ende summieren.«
Das kriegen wir aber doch ganz fix in den Griff – oder?
»Warum die neuen Systeme trotz technischer Fortschritte schlechter mit Fakten umgehen, ist bislang nicht vollständig geklärt. OpenAI selbst räumt die Probleme offen ein. Man arbeite daran, die höheren Halluzinationsraten zu reduzieren, erklärte Unternehmenssprecherin Gaby Raila.«
»Bis solche KI-Systeme fehlerfrei funktionieren, gilt: Wer sich auf die neue Intelligenz verlässt, muss selbst immer klüger prüfen.«