Die meisten behandeln eine falsche KI-Antwort wie einen Ausrutscher. Ein Bug, der mal passiert, den man wegpatcht. Das ist der teure Denkfehler. Ohne Fundament ist die plausible Erfindung nicht die Ausnahme, sie ist der Normalzustand.

Warum ein Modell ohne Grundlage strukturell falsch liegt

Ein Sprachmodell ohne Anbindung an deine Daten beantwortet jede Frage aus seinem Trainingswissen. Dieses Wissen ist komprimiert, hat einen Stichtag und enthält deine Preise, deine AGB und den Beschluss von gestern schlicht nicht. Es kennt deinen Betrieb nicht.

Das Entscheidende: Das Modell hat keinen eingebauten Begriff von "weiss ich nicht". Wo ihm die Grundlage fehlt, schweigt es nicht. Es füllt die Lücke mit dem, was klingt wie eine richtige Antwort. Und es klingt am selbstsichersten genau dort, wo es am wenigsten weiss.

Das ist keine Fehlfunktion, die man wegtrainiert. Das ist die Funktionsweise. Wer einen Bot ohne Anbindung an geprüfte Quellen auf Kunden loslässt, hat keinen hilfreichen Assistenten gebaut, sondern einen sehr eloquenten Ratemann.

Der Fall, den jeder Betreiber kennen sollte

2024 musste sich Air Canada vor einem Tribunal in British Columbia verantworten. Ein Kunde hatte nach einem Todesfall in der Familie beim Chatbot der Airline nach den Regeln für eine vergünstigte Rückerstattung gefragt. Der Bot nannte ihm eine Regel, die es so nicht gab, und stellte eine nachträgliche Erstattung in Aussicht.

Als der Kunde sein Geld wollte, verweigerte Air Canada. Das Argument des Konzerns vor Gericht war bemerkenswert: Der Chatbot sei eine eigenständige Instanz, für deren Auskünfte man nicht hafte.

Das Tribunal wischte das weg. Ein Unternehmen haftet für alle Informationen auf seiner Website, ob sie aus einer statischen Seite kommen oder aus einem Chatbot. Air Canada musste zahlen.

Genau das ist der Punkt. Es gibt keine Rechtsfigur, die deine KI von dir trennt. Der Kunde verklagt nicht das Modell und nicht den Anbieter des Modells. Er verklagt dich.

Wo es richtig teuer wird

Der Air-Canada-Fall ist kein Einzelfall, er ist ein Muster. Am gefährlichsten sind genau die Auskünfte, die verbindlich wirken:

Rückerstattungen und Kulanz. Der Bot verspricht eine Erstattung, die deine Richtlinie nicht deckt. Der Kunde hat den Screenshot. Du zahlst.

Preise und Rabatte. Der Bot nennt einen Preis von vorletztem Jahr oder erfindet einen Mengenrabatt. Im Zweifel ist das ein bindendes Angebot.

Garantie und AGB. Der Bot fasst deine Bedingungen "hilfreich" zusammen und verschiebt dabei eine Frist oder eine Bedingung. Die falsche Zusammenfassung gilt gegenüber dem Kunden.

Regulierte Bereiche. In Versicherung, Kredit oder Gesundheit ist eine falsche Auskunft nicht nur teuer, sondern schnell ein Aufsichtsthema.

Das Grundmuster bleibt immer gleich: Der Bot klingt am überzeugendsten dort, wo er keine Grundlage hat, und produziert die Zusage, die dich bindet.

Was RAG wirklich leistet, und was nicht

Hier ist die ehrliche Abgrenzung, weil an dieser Stelle die meisten übertreiben.

RAG, also die Anbindung des Modells an deine geprüften Quellen, nimmt dir die Haftung nicht ab. Die bleibt beim Betreiber. Immer. Wer RAG als Haftungsschild verkauft, verkauft dir dieselbe Illusion in Neu.

Was RAG tut, ist konkreter und wertvoller: Es senkt die Eintrittswahrscheinlichkeit. Statt aus komprimiertem Trainingswissen zu raten, zieht das Modell die Antwort aus dem Dokument, das du hinterlegt und geprüft hast, und kann die Fundstelle mitliefern. Der häufigste Fehlermodus, die freie Erfindung ins Leere, fällt damit weitgehend weg.

Und es ändert deine Position, falls doch etwas schiefgeht. "Mein Bot hat frei fantasiert" und "mein Bot hat aus einer von mir gewählten, geprüften und protokollierten Quelle geantwortet" sind juristisch zwei verschiedene Welten. Das eine sieht aus wie grobe Fahrlässigkeit. Das andere sieht aus wie Sorgfalt. Wenn du im Streitfall zeigen kannst, woher eine Antwort kam, stehst du grundlegend anders da.

Der eigentliche Reifegrad

Die Frage bei einem produktiven KI-Assistenten ist nicht, ob er irgendwann mal falsch liegt. Er wird. Die Frage ist, ob dieser Fall die Ausnahme ist oder der Normalzustand, und ob du danach erklären kannst, woher die Antwort kam.

Ohne Grundlage ist der Fehler der Normalzustand, und du kannst nichts erklären. Mit einer geprüften Grundlage ist der Fehler die seltene Ausnahme, und du hast eine Spur. Beides bleibt deine Verantwortung. Aber nur eines davon ist ein Standpunkt, den du verteidigen kannst.

Wenn dein Bot mit Kunden spricht

Die Frage ist nicht, ob dein KI-Assistent clever klingt. Sie ist, ob er aus deinen geprüften Quellen antwortet und ob du das im Streitfall belegen kannst.