Chatbots und KI-Agenten können rechtlich bindende Aussagen treffen und reale Transaktionen auslösen – mit ernsthaften Haftungs- und Reputationsfolgen für Unternehmen.
Reale Vorfälle zeigen: Nicht KI selbst ist das Problem, sondern das Fehlen klarer Grenzen, Freigabeprozesse und Kontrollmechanismen.
Sieben konkrete Maßnahmen helfen, KI im Kundenkontakt sicher und verantwortungsvoll einzusetzen – von Befugnisdefinition bis Security by Design.
KI-Chatbots klingen freundlich, antworten rund um die Uhr und entlasten den Kundenservice spürbar. Doch sie können mehr als nur Fragen beantworten: Sie erklären Regeln, reagieren auf Beschwerden – und geben im Zweifel auch Zusagen. Genau hier beginnt das Problem. Sobald ein Bot Rückerstattungen bestätigt, Kulanzregelungen erklärt oder Vertragsdetails nennt, entsteht eine gefährliche Mischung aus Verbindlichkeit und Kontrollverlust. Unternehmen unterschätzen häufig, was passiert, wenn ihr digitaler Assistent zu weit geht.
Wenn der Bot mehr verspricht, als das Unternehmen hält
2022 wandte sich Jake Moffatt an Air Canada, um zu klären, ob er seinen Flug rückwirkend zum Trauertarif buchen könne. Der Chatbot des Unternehmens sagte ihm: Kein Problem, innerhalb von 90 Tagen nach Ticketausstellung könne er einen Erstattungsantrag über ein Online-Formular stellen. Moffatt buchte daraufhin Hin- und Rückflug nach Toronto – um an der Beerdigung eines Familienmitglieds teilzunehmen. Als er danach die Erstattung beantragte, lehnte Air Canada ab. Trauertarife, so das Unternehmen, gälten nicht für bereits abgeschlossene Reisen. Der Chatbot habe schlicht falsch gelegen.
Air Canada argumentierte vor der zivilrechtlichen Streitbeilegungsstelle in British Columbia sogar, der Bot sei als eigenständige Einheit für seine Fehler selbst verantwortlich. Das Gericht sah das anders: Das Unternehmen wurde zur Zahlung verpflichtet. Für Kunden ist ein Chatbot kein externer Dritter – er ist die Stimme des Unternehmens. Und für diese Stimme haftet das Unternehmen.
Ein Screenshot reicht: Reputationsschäden durch Chatbot-Fehler
Neben dem rechtlichen Risiko droht ein zweiter, oft noch schneller wirksamer Schaden: der Vertrauensverlust. Anfang 2024 wurde der Paketdienst DPD zum viralen Negativ-Beispiel. Nutzer hatten den Chatbot des Unternehmens dazu gebracht, zu fluchen, sich selbst als "nutzlos" zu bezeichnen und das Unternehmen öffentlich herabzusetzen. DPD musste die KI-Funktion daraufhin abschalten.
Was ein Telefonat mit einem schlechten Servicemitarbeiter meist im Verborgenen lässt, wird im Chat zum Belegstück: Ein Screenshot ist in Sekunden gemacht, geteilt und kommentiert. Der Chatbot-Fauxpas wird zur öffentlichen Erzählung über Kompetenz und Kontrollverlust des Unternehmens.
Wenn Nutzer den Bot überlisten: Prompt-Injection und absurde Deals
Eine weitere Gefahrenquelle ist die gezielte Manipulation durch Nutzer. Sogenannte Prompt-Injections bringen Chatbots dazu, Dinge zu sagen oder anzubieten, die sie eigentlich nicht dürfen. Ende 2023 machte ein Autohaus-Chatbot Schlagzeilen, weil er sich zu einem symbolischen 1-Dollar-Kauf eines Fahrzeugs überreden ließ. Ob das rechtlich bindend wäre, ist zweitrangig – der Schaden entsteht bereits durch den Eindruck, dass ein Bot eigenständig Kaufzusagen machen kann.
Solche Fälle zeigen: Ohne klare technische und inhaltliche Leitplanken ist ein Chatbot im Kundenkontakt eine offene Flanke – für Manipulation, Missverständnisse und Vertrauensverlust gleichermaßen.
KI-Agenten: Wenn aus Worten Taten werden
Bislang ging es um Chatbots, die falsche Aussagen treffen. Mit KI-Agenten – Systemen, die nicht nur antworten, sondern eigenständig handeln – eskaliert das Risiko erheblich. Agenten können Buchungen auslösen, Rabatte anwenden, Tickets anlegen oder Bestellungen anstoßen. Aus einem missverständlichen Chatverlauf wird im schlechtesten Fall ein realer, kaum rückgängig zu machender Vorgang
Ein drastisches Beispiel aus der Krypto-Welt macht das greifbar: Ein autonomer KI-Agent überwies versehentlich rund 52,4 Millionen Token – etwa 5 Prozent des gesamten Angebots – an eine fremde Wallet. Berichten zufolge spielte ein fehlender Kontext nach einem Reset eine entscheidende Rolle. Die Transaktion war on-chain und damit faktisch nicht rückgängig zu machen.
Weil KI-Agenten auf Wahrscheinlichkeiten basiert plausible, aber dennoch falsche Ergebnisse liefern können, braucht es klare Kontroll- und Freigabeprozesse.
Stephan Dufhues, Cassini Consulting AG
Das Beispiel klingt exotisch, illustriert aber das grundsätzliche Problem: Wenn ein System nicht nur spricht, sondern handelt, reichen kleine Kontext- oder Interpretationsfehler aus, um unmittelbar Transaktionen auszulösen. Haftungs- und Reputationsrisiken multiplizieren sich.
„Weil KI-Agenten auf Wahrscheinlichkeiten basiert plausible, aber dennoch falsche Ergebnisse liefern können, braucht es klare Kontroll- und Freigabeprozesse. Regulatorische Vorgaben wie der EU AI Act machen Nachvollziehbarkeit und menschliche Aufsicht zu zentralen Voraussetzungen für den rechtssicheren Einsatz.“, meint auch Stefan Dufhues, Client Lead, Data, Analytics & Artificial Intelligence, der Cassini Consulting AG, die sich auf die Beratung von Unternehmen beim Einsatz digitaler Technologien spezialisiert hat.
Was die Fälle gemeinsam haben und was man daraus lernen kann
Die Vorfälle entstehen nicht, weil KI per se unzuverlässig ist. Sie entstehen, weil Chatbots und Agenten ohne klare Grenzen in den Kundenkontakt gelassen werden. Die entscheidende Frage lautet nicht: Wie menschlich klingt der Bot? Sondern: Welche Aussagen und Handlungen darf er verbindlich ausführen – und wie wird verhindert, dass er darüber hinausgeht?
Sieben Punkte, die vor dem Go-live verbindlich geklärt sein sollten
Befugnisse festlegen: Was darf das System wirklich? Informationen geben: ja. Zusagen zu Geld, Kulanz, Verträgen oder Fristen: nur mit definiertem Freigabeprozess. Bei Agenten gilt zusätzlich: Welche Aktionen sind erlaubt: buchen, stornieren, rabattieren, anlegen, ändern?
Handlungen absichern (besonders für Agenten): Kritische Aktionen brauchen technische und organisatorische Hürden: Rollen- und Rechtekonzept, Limits (z. B. maximaler Rabatt), Freigaben (Vier-Augen-Prinzip) und bei besonders sensiblen Vorgängen einen Menschen in der Schleife. Grundsatz: Je größer der finanzielle oder vertragliche Impact, desto strenger die Freigabe.
Wissensbasis verankern: Regeln, Tarife und Prozesse dürfen nicht "aus dem Bauch" generiert werden. Policy-Antworten sollten ausschließlich aus freigegebenen, versionierten Quellen stammen. Gibt es keine verlässliche Grundlage, gilt: sauber eskalieren statt improvisieren.
Eskalation strikt definieren: Bei sensiblen Themen – Rückerstattungen, Kulanz, Beschwerden, Vertragsauslegung – braucht es klare Übergaberegeln. Ein gutes System erkennt Unsicherheit und übergibt an einen menschlichen Agenten oder erstellt ein Ticket, statt sich in Formulierungen zu retten.
Betrieb und Nachvollziehbarkeit sicherstellen: Jede Antwort und jeder Systemaufruf muss protokolliert werden: Quelle, Zeitstempel, Entscheidungspfad, Aktion. Dazu gehören Monitoring (Eskalationsrate, Fehlaktionen, Beschwerden), ein Kill-Switch sowie ein klarer Incident-Plan, der festlegt, wie schnell abgeschaltet, korrigiert und kommuniziert wird.
Transaktions-Gates und Limits einziehen (für Agenten): Für Aktionen mit finanziellem oder vertraglichem Impact gelten harte Schutzmechanismen: Bestätigung vor Ausführung, Schwellenwerte, Rate-Limits und Schutz gegen doppelte Ausführung. Der Agent darf nicht einfach handeln, nur weil er es technisch kann.
Security und Datenschutz von Anfang an mitdenken: Agenten sind eine neue Angriffsfläche, zum Beispiel durch Prompt-Injection, bei der Anweisungen in verarbeiteten Inhalten versteckt sind. Notwendig sind strikte Tool-Policies, Datenminimierung in Prompts und Logs sowie klare Zugriffskontrollen.
Die Verantwortung für Bewertung, Freigabe und Entscheidung muss beim Menschen bleiben.
Stephan Dufhues, Cassini Consulting AG
Fazit
KI-Chatbots und -Agenten sind kein nettes Zusatzfeature im Kundenkontakt. Sie sind ein haftungs- und reputationsrelevanter Kommunikationskanal – und müssen entsprechend behandelt werden. Die Frage ist nicht, wie überzeugend der Bot klingt. Die Frage ist, ob klare Grenzen definiert sind: was er sagen, was er zusagen und was er tun darf. Wer das vor dem Launch klärt, schützt nicht nur sein Unternehmen vor Haftung und Imageschäden, sondern schafft auch die Grundlage für KI, der Kunden wirklich vertrauen können.
„KI-Agenten können Prozesse analysieren, strukturieren und Handlungsvorschläge liefern“, ergänzt Dufhues. „Die Verantwortung für Bewertung, Freigabe und Entscheidung muss aber beim Menschen bleiben. Erst wenn Ergebnisse nachvollziehbar kontrolliert werden und Human-in-the-Loop fest verankert ist, entsteht Vertrauen und Akzeptanz.“
Autor des Beitrags
Dennis Knake (Jg. 1975) ist Senior Manager Unternehmenskommunikation der Plusnet GmbH. Von Mitte 2016 bis Ende 2022 war er als Communication Manager im Bereich Internet of Things (IoT) tätig. Von 2004-2016 verantwortete er als Pressesprecher der QSC AG (heute q.beyond) die ITK-Fachthemen und gestaltete maßgeblich die Social Media Strategie des Unternehmens mit. Der gelernte Redakteur arbeitete zuvor bei verschiedenen Tageszeitungen vor allem im Bereich Online-Produktion und schloss 2003 sein Volontariat bei einer großen deutschen Verlagsgruppe ab.
