Wenn Bullshit (e)skaliert

Wir Menschen müssen den KI-Output hinterfragen, validieren, überprüfen und überarbeiten.

Künstlich intelligente Tools geben auf jeden Prompt eine prompte Antwort, quasi in Echtzeit. Sie legen ihre Ausführungen nachvollziehbar dar, untermauern sie mit entsprechenden wissenschaftlichen Publikationen und Expertenzitaten und formulieren das Ganze so, dass es ausnehmend eloquent klingt. Das Problem: KI serviert uns manchmal Bullshit auf dem Silbertablett, weil sie halluziniert. Um dampfende KI-Kacke geht es in diesem Beitrag.

Wer hats erfunden?

Als KI-Halluzinationen bezeichnet man – in Analogie zu einem ähnlichen Phänomen in der menschlichen Psychologie – von künstlich intelligenten Large Language Models (LLM) erzeugte falsche, erfundene oder nicht belegbare Informationen. Ein wichtiger Unterschied zur Humanpsychologie besteht darin, dass menschliche Halluzinationen meist auf falschen Wahrnehmungen der menschlichen Sinne beruhen, während Chatbots ungerechtfertigte Resultate als Text oder Bild ausspucken. Prabhakar Raghavan, Leiter von Google Search, beschrieb im Februar 2023 Halluzinationen von Chatbots als überzeugend formulierte, aber weitgehend erfundene Resultate.

Falsch, aber oho

KI-Halluzinationen können in unterschiedlicher Ausprägung auftreten:

a) Falsche Fakten: Nach Fragen über astrophysikalische Magnetfelder behauptete ChatGPT fälschlicherweise, dass Magnetfelder von Schwarzen Löchern durch die extrem starken Gravitationskräfte in ihrer Nähe erzeugt würden. In Wirklichkeit hat ein Schwarzes Loch aufgrund des No-Hair-Theorems kein Magnetfeld.

b) Erfundene Quellen oder Zitate: Die KI erfindet wissenschaftliche Nachweise oder Literaturangaben, die es gar nicht gibt. Im Juli 2025 publizierte eine australische Tochtergesellschaft von Deloitte einen Bericht, der durch Azure OpenAI verursachte Fehler enthielt, darunter Verweise auf inexistente wissenschaftliche Forschungsarbeiten und ein erfundenes Zitat aus einem Urteil des Bundesgerichtshofs.

c) Inexistente Personen oder Ereignisse: Zwei US-amerikanische Anwälte nutzten 2023 eine KI-Anwendung, um rechtliche Argumente für einen Gerichtsfall vorzubereiten. Das Modell zitierte mehrere Gerichtsfälle, die nie existiert hatten, inklusive erfundener Richter und Aktenzeichen («Martinez v. Delta Airlines (2019) entschied, dass …»). Die Anwälte mussten sich vor Gericht verantworten und erhielten eine Strafe wegen Täuschung.

Interpolation der Vergangenheit

Halluzinationen entstehen aus diversen Gründen und deren Ineinandergreifen. Da LLMs kein vollständiges Wissen der Welt besitzen, interpolieren oder konfabulieren (objektiv falsche Erinnerungen produzieren) fehlendes Wissen. Dazu sagen sie Muster aus Trainingsdaten statistisch vorher. Sprachmodelle vermögen nicht zwischen Wahrheit und Wahrscheinlichkeit zu unterscheiden. Sie haben keine Ahnung von Kontext, sprachlichen oder kulturellen Nuancen; sie berechnen lediglich, welcher Inhalt mit hoher Wahrscheinlichkeit als Nächstes kommt. Fehler beim Kodieren und Dekodieren zwischen Text und Repräsentationen und das KI-Training zur Erzeugung von vielfältigen Antworten können ebenfalls Halluzinationen verursachen. Und schliesslich müssen Sprachmodelle unter Zeitdruck Antworten liefern. Sie haben jedoch nicht gelernt, dass man auf eine Frage in derart kurzer Zeit manchmal keine Antwort findet. LLMs erfinden kurzerhand irgendetwas, das statistisch Sinn machen würde.

Zu Risiken und Nebenwirkungen

Das Halluzinieren von KI wirkt sich finanziell negativ und imageschädigend auf eine Marke aus. Mehr noch: KI-Halluzinationen können fatale Fehlentscheidungen herbeiführen, etwa wenn sie für medizinische Diagnosen eingesetzt werden. Identifiziert beispielsweise ein KI-Modell im Gesundheitswesen eine gutartige Hautveränderung fälschlicherweise als bösartig, werden unnötige medizinische Eingriffe vorgenommen. Den umgekehrten Fall möchte ich hier nicht darlegen. Probleme mit KI-Halluzinationen tragen zudem zur Verbreitung von Fehlinformationen bei, die nicht als solche erkannt werden. Im Weiteren bieten KI-Modelle Gelegenheiten für feindliche Angriffe, bei denen Kriminelle die Eingabedaten eines KI-Modells subtil verändern und so die Ausgabe manipulieren. Daraus gehen erhebliche Sicherheitsprobleme hervor. Die Liste der Risiken und Nebenwirkungen bei unüberlegtem Genuss von KI-Halluzinationen ist schier endlos.

Also

KI-Halluzinationen wurden als statistisch unvermeidliches Nebenprodukt von unvollkommenen generativen LLMs erkannt. Deren Herausgeber arbeiten daran, den Mangel zu beheben. Sie verwenden hochwertige Trainingsdaten, testen und verfeinern ihre Systeme kontinuierlich. Schon mal gut. Trotzdem gibt es meiner Ansicht nach bis auf Weiteres nur eine Methode, um KI-Halluzinationen zu vermeiden und maximale Sicherheit über die Verlässlichkeit von Inhalten zu erlangen: Wir Menschen müssen den KI-Output hinterfragen, validieren, überprüfen und überarbeiten (KI-Post-Editing). Mit anderen Worten: Bitte den menschlichen Verstand wieder einschalten.