Wenn die KI Funktionen erfindet, die es nicht gibt
Wer mit KI-Tools entwickelt, kennt diesen Moment: Die Antwort sieht überzeugend aus, der Code kompiliert beinahe, und nichts wirkt verdächtig. Bis ihr feststellt, dass die Methode, die das Modell verwendet, in dieser Bibliothek gar nicht existiert.
Halluzinationen treten in der Praxis nicht zufällig auf, sondern an drei wiederkehrenden Stellen.
Erstes Muster: nicht existierende Methoden
Bei Bibliotheken, die nah beieinander liegen (lodash und ramda, axios und fetch, rxjs in unterschiedlichen Major-Versionen), erfindet das Modell gerne Methoden, die es theoretisch geben sollte, aber faktisch nie geschrieben wurden. Das Tückische: Die erfundene API ist meistens elegant und intuitiv. Genau deshalb übersieht man sie beim Durchlesen.
Zweites Muster: falsche Versionen
Bibliotheken sind nicht statisch. Eine Funktion, die in Version 12 existierte, kann in Version 18 entfernt sein. Modelle haben Trainingsstände aus unterschiedlichen Zeitfenstern und kombinieren sie ohne Rücksicht. Das Ergebnis ist Code, der vor zwei Jahren funktioniert hätte und in eurem aktuellen Setup an einer Importzeile scheitert.
Drittes Muster: Verkettung von Wahrheit und Erfindung
Die schwierigste Variante: ein langer, weitgehend korrekter Block mit einer oder zwei eingestreuten Halluzinationen. Drei Methoden stimmen, eine ist erfunden, der Rest des Aufrufs ergibt sich plausibel daraus. Wer den Code überfliegt, glaubt das gesamte Pattern. Wer Tests laufen lässt, wundert sich.
Was diese drei Muster gemeinsam haben
In allen Fällen wirkt der Code plausibel. Halluzinationen sind nie offensichtlich falsch, sonst wären sie kein Problem. Die Erkennung passiert nicht durch Lesen, sondern durch Ausführen oder Cross-Checken gegen die offizielle Doku.
Wer KI-Code reviewt wie eigenen Code, fängt diese Muster ab. Wer KI-Code als gegeben akzeptiert, lässt sie durch.
Fazit
Halluzinationen verschwinden mit besseren Modellen nicht, sie verschieben sich. Die Antwort ist nicht, KI nicht zu nutzen, sondern sie in einem Workflow zu nutzen, der diese Muster fängt. Wer Sparring sucht, wie das im eigenen Team aussehen kann, kann mich ansprechen.