Halluzinationen sind keine Fehlfunktion, sondern eine mathematische Konsequenz des generativen Prinzips: Sprachmodelle berechnen die wahrscheinlichste Fortsetzung eines Texts — nicht die faktisch richtige. Wer KI-Antworten ungeprüft übernimmt, riskiert falsche Entscheidungen.
Quellverweise als erster Schutz
Der wirksamste Schutz ist Retrieval-Augmented Generation (RAG) mit Quellverweisen. Das Modell antwortet nicht aus dem Gedächtnis, sondern auf Grundlage konkreter, freigegebener Dokumente. Jede Antwort enthält Verweise auf die Originalquellen — der Nutzer kann die Aussage unmittelbar prüfen. Ohne Quellverweise ist eine Halluzination in einer ansonsten plausiblen Antwort kaum erkennbar.
Typische Halluzinations-Muster
Halluzinationen treten besonders häufig auf bei spezifischen Fakten — Zahlen, Datumsangaben, Normennummern, Personennamen. Ebenso bei Fragen, zu denen das Modell keine Quelle in der Wissensbasis findet und trotzdem antwortet, statt Unsicherheit einzuräumen. Ein sorgfältig formulierter System-Prompt weist das Modell an, Unsicherheit offen zu benennen („Dazu liegt mir keine Quelle vor”).
Stichprobenprüfung bei kritischen Entscheidungen
Für Entscheidungen mit hoher Tragweite — Qualitätsfreigaben, rechtliche Bewertungen, sicherheitsrelevante Auslegungen — bleibt Stichprobenprüfung Pflicht. KI unterstützt die Recherche und liefert Vorlagen, der Mensch trifft die Entscheidung. Das ist nicht nur pragmatisch, sondern nach EU AI Act in vielen Fällen vorgeschrieben (Artikel 14: menschliche Aufsicht).