Was Sprachmodelle nicht können

Souverän vorgetragen ist nicht dasselbe wie richtig#

Wer schon einmal am Hauptbahnhof stand, als eine Durchsage in bestem Amtston ein Gleis nannte, an dem dann kein Zug hielt, kennt den Mechanismus. Der Ton war einwandfrei, der Inhalt falsch, und ausgerechnet der Ton hat dafür gesorgt, dass alle losgelaufen sind.

Genau das ist die Halluzination. Sie ist kein Fehler im Sinne eines Defekts, sondern die logische Folge davon, wie diese Modelle arbeiten. Ein Sprachmodell schätzt, welche Wortfolge auf eine Eingabe plausibel folgt. Plausibilität und Wahrheit fallen meistens zusammen — und wenn sie es nicht tun, merkt man es dem Text nicht an. Ein erfundener Paragraf sieht aus wie ein echter. Eine erfundene Norm ebenfalls. Das ist die häufigste Schadensquelle im Alltag, und sie trifft bevorzugt die Fleißigen, weil die mehr verarbeiten.

Rechnen ist kein Sprachvorgang#

Modelle sind in den letzten Jahren beim Rechnen deutlich besser geworden, aber die Verbesserung ist eine graduelle, keine grundsätzliche. Wo es auf jede Stelle ankommt — Summen, Fristen, Prozentwerte, Umlagen —, gehört die Rechnung in ein Werkzeug, das rechnet, und nicht in ein Werkzeug, das formuliert. Die gute Nachricht: Genau das lässt sich einrichten. Das Modell entnimmt die Zahlen, ein Tabellenblatt oder eine Funktion rechnet, das Modell formuliert das Ergebnis. Wer diesen Umweg spart, spart an der falschen Stelle.

Der Stand von gestern#

Jedes Modell hat einen Wissensstand, der irgendwann endet. Fragen zur heutigen Rechtslage, zu aktuellen Preisen oder zu jüngsten Entscheidungen beantwortet es aus dem, was es gelernt hat — bereitwillig und ohne Hinweis darauf, dass die Auskunft veraltet sein könnte. Bei einem Thema wie der KI-Verordnung, deren Fristen sich innerhalb eines Jahres verschoben haben, ist das keine akademische Sorge.

Abhilfe schafft nur, dem Modell die aktuellen Unterlagen mitzugeben und eine Fundstelle zu verlangen. Ein Werkzeug, das im Netz nachsehen kann, hilft ebenfalls — allerdings nur, wenn man die genannte Quelle auch tatsächlich öffnet.

Das Kontextfenster und das, was hinausfällt#

Das Kontextfenster begrenzt, wie viel Text ein Modell gleichzeitig berücksichtigen kann. Die Fenster sind groß geworden, aber zwei Dinge bleiben: Was nicht hineinpasst, fällt heraus, und zwar stillschweigend. Und selbst innerhalb des Fensters wird der Mittelteil erfahrungsgemäß weniger zuverlässig berücksichtigt als Anfang und Ende. Bei einem achtzigseitigen Vertrag heißt das: Eine Klausel auf Seite 41 hat schlechtere Karten als eine auf Seite 2. Wer prüfen lässt, sollte in Abschnitten prüfen lassen.

Und was es überraschend gut kann#

Der Vollständigkeit halber, weil dieses Dossier sonst einseitig würde: Umformulieren, zusammenfassen, strukturieren, übersetzen, in Freitext nach Mustern suchen, aus unordentlichen Angaben ordentliche Tabellen machen, einen zähen Behördenbrief in verständliches Deutsch bringen. In dieser Klasse von Aufgaben sind diese Werkzeuge außerordentlich stark, und dort liegt der weitaus größte Teil des betrieblichen Nutzens.

Vier Bauregeln, die den Schaden begrenzen#

Belegpflicht. Verlangen Sie zu jeder inhaltlichen Aussage die Fundstelle aus dem mitgegebenen Material. Wo keine Fundstelle kommt, gilt die Aussage als unbelegt. Diese eine Regel entschärft die Halluzination im Alltag mehr als jede Modellwahl.

Trennung von Finden und Formulieren. Das Modell soll aus Ihren Unterlagen heraussuchen und zusammenfassen, nicht aus dem Gedächtnis erzählen. Technisch ist das die verankerte Suche: Erst wird in den eigenen Beständen gesucht, dann wird auf den gefundenen Passagen geantwortet, und die Passage steht darunter.

Rechnen auslagern. Zahlen extrahieren lassen, außerhalb rechnen, Ergebnis zurückgeben. Nie den Rechenweg im Fließtext akzeptieren, ohne ihn nachzurechnen.

Zerlegen. Lange Dokumente in Abschnitte teilen und abschnittsweise bearbeiten. Das kostet ein paar Minuten mehr und verhindert die Sorte Fehler, die niemandem auffällt.

Woran man ein gefährliches Vorhaben früh erkennt#

Es gibt drei Warnzeichen, die ich inzwischen als recht verlässlich empfinde.

Das Ergebnis wird von niemandem geprüft, weil die Prüfung länger dauern würde als die Aufgabe selbst. Dann ist das Vorhaben falsch geschnitten. Ein Vorgang, dessen Ergebnis man nicht in vertretbarer Zeit gegenprüfen kann, gehört nicht als erster automatisiert.

Ein Fehler fällt erst Wochen später auf. Je länger die Rückkopplung, desto teurer der Irrtum. Vorgänge mit kurzer Rückkopplung sind die besseren Einstiegsfälle.

Es gibt kein Richtig, an dem sich messen lässt. Wo niemand sagen kann, wie das korrekte Ergebnis aussähe, kann auch niemand feststellen, ob das Werkzeug hilft.

Die Sache mit dem Zutrauen#

Eine Beobachtung, die technisch nichts erklärt und praktisch viel: Menschen prüfen maschinelle Ergebnisse in den ersten Wochen sehr genau und danach immer weniger. Der Grund ist banal — die Ergebnisse waren ja meistens richtig. Genau deshalb passieren die teuren Fehler selten am Anfang.

Wer einen Vorgang dauerhaft betreibt, sollte deshalb die Prüfung nicht dem Zutrauen überlassen, sondern sie im Ablauf verankern: eine Stichprobe pro Woche, ein Vieraugenprinzip an der teuersten Stelle, eine kurze Notiz, wenn etwas nicht stimmte. Das ist unspektakulär und der Unterschied zwischen einem Werkzeug und einem Risiko.

Was sich in den nächsten Jahren vermutlich nicht ändert#

Hier bin ich mir nicht sicher, und das schreibe ich lieber dazu, als es zu verschweigen. Die Modelle werden weiter besser; einiges von dem, was hier steht, wird in zwei Jahren milder ausfallen. Was sich meiner Einschätzung nach nicht grundsätzlich ändert, ist der Kern: Ein System, das Plausibilität erzeugt, kann Wahrheit nicht garantieren. Solange das so bleibt, bleibt die Prüfung Aufgabe des Hauses — und nicht des Anbieters.