Risiken von AI im Kundenservice: Falsche Antworten, Haftung und Markenschäden

Von Linh Ngo · Aktualisiert am 11. Oktober 2026

Das Risiko von AI im Kundenservice ist die Gefahr, dass ein AI Agent einem Kunden falsche, schädliche oder markenfremde Informationen gibt oder eine falsche Aktion ausführt und Ihr Unternehmen dafür geradestehen muss. Das entscheidende Wort ist Ihr. Wenn ein Bot auf Ihrer Website spricht, betrachten Kunden und zunehmend auch Gerichte seine Worte als Ihre.

Das ist die Lehre aus dem bislang bekanntesten Fall. Im Februar 2024 verurteilte ein kanadisches Schiedsgericht Air Canada zur Zahlung an einen Fluggast, nachdem der Chatbot der Airline ihm falsche Auskünfte zu einem Tarif gegeben hatte. Der Betrag war klein. Die Begründung war es nicht. Dieser Leitfaden geht diesen und drei weitere Fälle durch, fasst die Risiken in einer Tabelle zusammen, die Sie als Checkliste nutzen können, und schließt mit Schutzmaßnahmen, die ein Support-Manager umsetzen kann, ohne auf die Rechtsabteilung zu warten. Es ist ein praktischer Überblick, keine Rechtsberatung. Klären Sie marktspezifische Fragen daher mit einer Rechtsberatung. Das größere Bild der Collection zeigt der Überblick zu AI im Kundenservice.

Wichtige Fakten

• Am 14. Februar 2024 entschied das Civil Resolution Tribunal von British Columbia im Fall Moffatt v. Air Canada, dass die Airline für die Auskünfte ihres Chatbots an einen Kunden verantwortlich ist (Daily Hive).
• Die Summe war bescheiden: 650,88 \(Schadensersatz, 36,14\) Zinsen und 125 \(Verfahrensgebühren, insgesamt etwa 812\). Der Präzedenzwert ist weit größer als der Betrag.
• Das Gericht wies das Argument zurück, der Bot sei eine eigene juristische Person, und stellte fest, dass Air Canada nicht die zumutbare Sorgfalt aufgewendet hatte, um die Richtigkeit seines Chatbots sicherzustellen (Manatt).
• Nicht jede Panne ist rechtlicher Natur. Der Chatbot von DPD fluchte und kritisierte das eigene Unternehmen, und die Screenshots wurden mehr als eine Million Mal angesehen (Yahoo News).
• Das US Consumer Financial Protection Bureau warnte 2023, dass Unternehmen haften können, wenn Chatbots das Verbraucherfinanzrecht nicht einhalten (CFPB).

Die vier Arten von AI-Support-Pannen

Die meisten Vorfälle lassen sich vier Gruppen zuordnen, und jede erfordert eine andere Schutzmaßnahme.

1. Falsche Antworten. Die AI nennt eine Richtlinie, einen Preis oder eine Regel, die nicht stimmt. Das ist das Halluzinationsproblem, und es ist das häufigste.
2. Falsche Aktionen. Die AI redet nicht nur, sie handelt: Sie veranlasst eine Rückerstattung, ändert ein Konto, sagt einen Liefertermin zu. Ein Fehler an dieser Stelle bewegt Geld oder schafft eine Verpflichtung.
3. Markenfremdes Verhalten. Die AI flucht, beleidigt, macht Witze über ein Unglück oder kritisiert das Unternehmen. Keine Tatsache ist falsch, aber das Vertrauen leidet.
4. Gefangene Kunden. Die AI hält Kunden in einer Schleife ohne Weg zu einem Menschen, was aus einem Ärgernis eine Beschwerde oder ein regulatorisches Problem macht.

Die vier folgenden Fälle lassen sich diesen Gruppen zuordnen. Im ACE-Sprachgebrauch stammen der erste und der dritte aus Generate (ein Modell erzeugt Text), während der zweite Execute hinzunimmt (das Modell handelt in Systemen). Dort kommt es am meisten auf Governance an.

Fall 1: Air Canada und der Trauerfalltarif

Jake Moffatt fragte den Website-Chatbot von Air Canada nach Trauerfalltarifen, nachdem seine Großmutter gestorben war. Der Chatbot sagte ihm, er könne den ermäßigten Tarif rückwirkend beantragen, und zwar innerhalb von 90 Tagen nach dem Ticketkauf. Mitarbeitende von Air Canada erklärten ihm später, rückwirkende Anträge seien nicht erlaubt, und die Richtlinie auf der eigenen Website besagte, dass Trauerfalltarife keine bereits angetretenen Reisen abdeckten (Fox Business). Er verlangte eine teilweise Rückerstattung von etwa 880 $.

Die Verteidigung von Air Canada ist der interessante Teil. Das Unternehmen argumentierte, es könne nicht für Informationen seines Chatbots haftbar gemacht werden, und die korrekte Richtlinie sei an anderer Stelle auf der Website verfügbar gewesen. Tribunal-Mitglied Christopher Rivers wies beide Punkte zurück. Das Gericht stellte fest, dass Air Canada gegenüber Moffatt eine Sorgfaltspflicht hatte, nicht die zumutbare Sorgfalt aufwendete, um die Richtigkeit seines Chatbots sicherzustellen, und eine fahrlässige Falschdarstellung begangen hatte (Manatt). Es entschied außerdem, dass der Chatbot Teil der Website der Airline ist und die Airline für alle Informationen darauf verantwortlich ist, ob sie von einer statischen Seite oder von einem Chatbot stammen (Daily Hive). Der Fall ist als Moffatt v. Air Canada, 2024 BCCRT 149 dokumentiert.

Zwei Einschränkungen halten das Bild ehrlich. Es war eine Entscheidung eines Schiedsgerichts für Bagatellsachen in einer kanadischen Provinz und bindet daher Gerichte andernorts nicht. Und der Anspruch war eng gefasst: Ein Kunde verließ sich auf eine konkrete falsche Aussage und verlor Geld. Dennoch lässt sich die praktische Botschaft gut übertragen. „Der Bot hat es gesagt, nicht wir“ und „die richtige Antwort stand auf einer anderen Seite“ funktionierten hier nicht als Verteidigung, und Sie sollten davon ausgehen, dass sie auch bei Ihnen nicht funktionieren.

Fall 2: DPD und der Chatbot, der aus der Rolle fiel

Im Januar 2024 brachte ein DPD-Kunde namens Ashley Beauchamp den Chatbot des Paketdienstes dazu, zu fluchen und zu sagen, DPD sei das schlechteste Zustellunternehmen der Welt. Er veröffentlichte die Screenshots am 18. Januar 2024, und sie wurden mehr als eine Million Mal angesehen. DPD erklärte, nach einem Systemupdate sei ein Fehler aufgetreten, das „AI-Element“ sei „sofort deaktiviert“ worden, und es habe mehrere Jahre lang erfolgreich neben dem menschlichen Kundenservice gearbeitet (Yahoo News).

Niemand verlor hier Geld. Der Schaden war ein Reputationsschaden, und der Kunde hatte den Bot gezielt dazu gebracht. Genau das ist der Punkt. Markenrisiko braucht kein Opfer, nur einen Screenshot. Beachten Sie auch den Auslöser: ein routinemäßiges Systemupdate. Jede Änderung am Modell, an den Prompts oder an den Einstellungen kann ein Verhalten aufheben, das Sie im Vormonat getestet haben.

Fall 3: Cursor und die erfundene Richtlinie

Im April 2025 erhielten Nutzer des Coding-Tools Cursor, die gefragt hatten, warum sie auf mehreren Rechnern abgemeldet wurden, eine E-Mail des AI-Support-Bots des Unternehmens, in der stand, dies sei erwartetes Verhalten. Eine solche Richtlinie gab es nicht. Mitgründer Michael Truell schrieb auf Reddit: „Hey! Eine solche Richtlinie gibt es bei uns nicht“, bezeichnete die Antwort als falsche Auskunft eines AI-Support-Bots an vorderster Front und entschuldigte sich. Cursor erklärte, AI-Antworten im E-Mail-Support würden künftig klar gekennzeichnet, und dem Entwickler, der das Problem gemeldet hatte, wurde der Betrag erstattet (The Register).

Das ist das Air-Canada-Muster in einer anderen Branche: eine selbstsichere, konkrete, erfundene Regel. Die AI sagte nicht „Ich bin mir nicht sicher“. Sie füllte eine Lücke mit etwas Plausiblem. Auch die Reaktion des Unternehmens ist studierenswert. Eine schnelle öffentliche Korrektur, eine Rückerstattung und ein Hinweis auf AI-Antworten sind ein vernünftiges Drehbuch für den Tag, an dem es Ihnen passiert.

Fall 4: Der MyCity-Chatbot von New York City und rechtswidrige Ratschläge

Im Oktober 2023 startete die Stadt New York auf ihrem MyCity-Portal einen AI-Chatbot, der Unternehmern helfen sollte, sich in den städtischen Vorschriften zurechtzufinden. Im März 2024 berichtete The Markup, der Bot gebe häufig unvollständige oder falsche Antworten. Er sagte, Vermieter müssten Section-8-Gutscheine nicht akzeptieren, Aussperrungen von Mietern seien legal, Restaurants dürften trotz eines städtischen Gesetzes von 2020, das die Annahme von Bargeld vorschreibt, bargeldlos arbeiten, und Arbeitgeber dürften einen Teil der Trinkgelder ihrer Beschäftigten einbehalten. Die Antworten schwankten außerdem: Einem Reporter sagte er, Vermieter müssten Gutscheine akzeptieren, zehn anderen Mitarbeitenden, sie müssten es nicht. Ein Sprecher der Stadt bezeichnete den Bot als Pilotprojekt, das sich verbessern werde (The Markup).

Das ist kein Helpdesk eines Unternehmens, aber es zeigt die schlimmste Form einer falschen Antwort: einen Ratschlag, der bei Befolgung gegen das Gesetz verstößt. Wenn Ihre AI Fragen zu Verträgen, Preisrecht, Sicherheit, Gesundheit oder Arbeitsrecht beantwortet, bewegen Sie sich auf demselben Terrain. Die Inkonsistenz ist ein eigenes Risiko, denn dieselbe Frage kann an verschiedenen Tagen unterschiedliche Antworten erhalten.

Die Risikotabelle: Risiko, Beispiel, Schutzmaßnahme, Verantwortliche

Nutzen Sie sie als Start-Checkliste. „Verantwortliche“ meint die Rolle, die für dieses Risiko Rede und Antwort stehen können sollte, nicht die Person, die die ganze Arbeit macht.

Die letzten beiden Zeilen haben eigene Leitfäden, weil die Regeln je nach Land variieren und sich oft ändern. Betrachten Sie diesen Artikel als Landkarte und jene als Detailansicht.

Warum Aufsichtsbehörden sich dafür interessieren

Sie brauchen keinen Prozess, um den Druck zu spüren. Der Bericht des CFPB vom Juni 2023 zu Chatbots im Verbraucherfinanzwesen hält fest, dass von Chatbots erwartet wird, alle einschlägigen bundesrechtlichen Verbraucherfinanzgesetze einzuhalten, und dass Unternehmen haften können, wenn sie es nicht tun. Er nennt unter anderem ungenaue Informationen, das Nichterkennen von Streitfällen, „Doom Loops“ ohne Weg zu einem Menschen und Datenschutzrisiken. Der Bericht erklärt, er begründe keine neuen Pflichten (CFPB). Beachten Sie, dass sich dies auf Finanzdienstleistungen in den USA bezieht. Wenn Sie anderswo oder in einer anderen Branche tätig sind, unterscheiden sich die Einzelheiten, aber die Richtung ist dieselbe: Der Kanal ändert nichts an der Pflicht.

So verringern Sie das Risiko: Acht Schritte

1. Legen Sie fest, was die AI nicht tun darf. Schreiben Sie eine kurze Liste gesperrter Themen und Aktionen: Rechtsberatung, medizinische oder sicherheitsbezogene Hinweise, alles mit Rückerstattungen über einem Schwellenwert. Gehen Sie dabei von automatisieren oder unterstützen aus.
2. Stützen Sie jede Antwort auf freigegebene Inhalte. Die Seite von Air Canada und der Chatbot widersprachen sich, und die Airline zahlte für die Lücke. Pflegen Sie eine aktuelle zentrale verlässliche Datenquelle und stellen Sie sicher, dass die AI daraus liest. Support-Daten für AI vorbereiten zeigt, wie.
3. Lassen Sie die AI „Ich weiß es nicht“ sagen. Konfigurieren Sie sie so, dass sie übergibt, wenn keine Quelle passt, statt zu improvisieren. Eine Verweigerung kostet ein paar Minuten. Eine erfundene Richtlinie kann weit mehr kosten.
4. Begrenzen Sie, was sie tun kann. Setzen Sie bei allem, was Geld bewegt oder eine Zusage macht, Obergrenzen, verlangen Sie darüber eine menschliche Freigabe und protokollieren Sie jede Aktion samt dem Gespräch, das sie ausgelöst hat.
5. Halten Sie einen sichtbaren Ausgang offen. Kunden sollten einen Menschen erreichen, ohne mit dem Bot streiten zu müssen. Was Kunden von AI-Service erwarten erklärt, warum das über die Compliance hinaus wichtig ist.
6. Testen Sie vor und nach jeder Änderung. Stellen Sie einen Satz von 50 bis 100 realen Fragen zusammen, auch gegnerische (Beleidigungen, Jailbreak-Versuche, Grenzfälle aus früheren Beschwerden). Führen Sie ihn aus, sobald sich Modell, Prompt oder Wissensdatenbank ändern. Der Vorfall bei DPD folgte auf ein Systemupdate.
7. Prüfen Sie Gespräche, nicht nur Kennzahlen. Ziehen Sie wöchentlich eine Stichprobe von AI-Gesprächen und bewerten Sie sie. AI-Qualitätssicherung im Support zeigt, wie Sie Support-Gespräche prüfen. Kombinieren Sie das mit einer ehrlichen Lösungsmessung, damit eine falsche Antwort nicht als Erfolg zählt.
8. Schreiben Sie den Incident-Plan, bevor Sie ihn brauchen. Legen Sie fest, wer die AI abschalten darf, wer mit dem Kunden spricht, wer eine Korrektur veröffentlicht und wie Rückerstattungen abgewickelt werden. Cursor und DPD handelten beide schnell, und Tempo machte den Großteil ihrer Erholung aus.

Wenn Sie das zum ersten Mal einführen, bauen Sie diese Punkte in Ihren Launch-Plan ein, statt sie später nachzurüsten. Der Implementierungsleitfaden zeigt, wo jeder Punkt hineinpasst.

Fallstricke, die Sie vermeiden sollten

Sich auf einen Disclaimer verlassen. Ein Satz, der Bot könne „gelegentlich falsche“ Inhalte erzeugen, wie auf der Seite des NYC-Bots, stoppte die Kritik nicht und hätte Air Canada nicht geholfen. Ein Disclaimer ist keine Kontrollmaßnahme.

Annehmen, die korrekte Seite schütze Sie. Das Gericht im Fall Air Canada ließ nicht gelten, dass eine korrekte Webseite einen falschen Chatbot entschuldigt. Ihre Dokumente und Ihr Bot müssen übereinstimmen, denn Kunden glauben dem, was sie zuerst sehen.

Einmal testen, beim Launch. Das Verhalten driftet, wenn sich Modelle, Prompts und Inhalte ändern. Behandeln Sie Tests als wiederkehrende Aufgabe mit klarer Verantwortung.

Der AI Werkzeuge geben, bevor Sie ihr Grenzen gesetzt haben. Der Sprung vom Antworten zum Handeln ist der Punkt, an dem kleine Fehler teuer werden. Fügen Sie Aktionen einzeln hinzu, jede mit Obergrenze und Protokoll.

Die AI verstecken. Wer so tut, als sei der Bot ein Mensch, lässt jeden Fehler wie Täuschung wirken. Auch das Tonalitätsproblem ist real: Entscheiden Sie, wie der Bot mit einem frustrierten Kunden umgeht, bevor Sie ihm eine Persönlichkeit geben.

Risiko als reines Rechtsthema behandeln. Die Rechtsabteilung kann die Regeln setzen, aber Support Operations sieht die Gespräche. In der Spalte „Verantwortliche“ der obigen Tabelle sollte neben jeder Zeile ein Name stehen.

Ein einfacher Einstieg

Wenn Ihnen das viel vorkommt, beginnen Sie diesen Monat mit drei Schritten. Erstens: Lesen Sie 30 aktuelle AI-Gespräche und markieren Sie jede Aussage, die nicht durch Ihre eigenen Dokumente gedeckt ist. Zweitens: Richten Sie für die Themen aus Schritt eins eine harte Übergabe ein. Drittens: Bestimmen Sie die Person, die die AI um 2 Uhr nachts abschalten kann. Diese drei Schritte decken die Pannen in allen vier Fällen oben ab, und sie kosten weit weniger als der einzelne schlechte Tag, den sie verhindern.