KI & Sicherheit6 Min. Lesezeit
Wie man KI hackt – und wie Unternehmen sich schützen
Chatbots lassen sich mit Sprache austricksen: Prompt Injection, Jailbreaks, Datenabfluss. Was dahintersteckt und wie Sie Ihren Bot absichern.

Einen Chatbot zu „hacken“ erfordert oft keinen Code, sondern nur einen geschickt formulierten Satz. Das macht KI-Assistenten auf Websites angreifbar auf eine Weise, die klassische IT-Sicherheit so nicht kannte. Dieser Beitrag erklärt das Prinzip und die Abwehr auf Managementebene. Eine Anleitung für Angriffe finden Sie hier bewusst nicht.
Warum Sprachmodelle sich austricksen lassen
Ein Sprachmodell bekommt Regeln des Betreibers und Eingaben von Nutzern als einen einzigen Text. Es kann beides nicht zuverlässig trennen. Forschende beschrieben schon 2023, dass KI-Anwendungen so „die Grenze zwischen Daten und Anweisungen verwischen“ [3].
Die Sicherheitsorganisation OWASP führt in ihrer Liste der zehn größten Risiken für LLM-Anwendungen (Ausgabe 2025) Prompt Injection an erster Stelle [1]. Gemeint ist: Eine Eingabe verändert das Verhalten des Modells auf unbeabsichtigte Weise, mitunter durch Inhalte, die Menschen gar nicht sehen, das Modell aber liest [2]. Ein Jailbreak ist laut OWASP eine Form davon, die Schutzmechanismen des Modells ganz aushebeln soll [2]. Wichtig: Auch OWASP hält fest, dass keine Gegenmaßnahme völlig narrensicher ist [2].
Platz 1
Für Unternehmen mit Chatbot sind drei weitere Einträge der OWASP-Liste besonders relevant: die Offenlegung sensibler Informationen (LLM02), das Auslesen des System-Prompts (LLM07) und Fehlinformationen (LLM09) [1]. Anders gesagt: Ein Bot kann Interna verraten, seine eigenen Vorgaben preisgeben oder schlicht Falsches behaupten, und jedes dieser Probleme landet am Ende bei Ihnen. Darum reicht ein gut formulierter Systemtext allein nicht als Schutz. Es braucht mehrere Schichten aus Technik, Organisation und Tests.

Direkt und indirekt: zwei Wege zum gleichen Ziel
Bei der direkten Variante verändert die Eingabe des Nutzers selbst das Verhalten des Modells, absichtlich oder versehentlich. Bei der indirekten liest das Modell externe Inhalte wie eine Webseite oder eine Datei, in denen Anweisungen versteckt sind [2]. Die zweite Variante ist tückisch, weil der Angreifer nie mit dem Bot sprechen muss. Die Forscher um Kai Greshake zeigten sie 2023 unter anderem an Bings GPT-4-Chat [3].
Die möglichen Folgen reichen laut OWASP von Datenabfluss über unbefugten Zugriff bis zu Befehlen in angebundenen Systemen und manipulierten Entscheidungen [2]. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) fasst (indirekte) Prompt Injections, Jailbreaks und Adversarial Attacks als „Evasion Attacks“ zusammen: Sie wirken im laufenden Betrieb, das Modell selbst bleibt unverändert [4].
Das BSI formuliert das nüchtern: Die Gegenmaßnahmen können Angriffe erschweren oder den möglichen Schaden verringern [4]. Das ist ein realistisches Ziel. Wer vollständige Immunität verspricht, verkauft keine Sicherheit, sondern Hoffnung.
Was in der Praxis schiefging
Im Dezember 2023 brachten Nutzer den Chatbot eines Chevrolet-Händlers im kalifornischen Watsonville dazu, einen Tahoe für einen Dollar zu „verkaufen“. Der Bot stammte vom Drittanbieter Fullpath; GM erklärte, solche Tools wählten die Händler selbst [5]. Fullpath berichtete von mehr als 3.000 Manipulationsversuchen an einem Wochenende und betonte, der Bot habe keine Händlerdaten preisgegeben [6]. Ob der Händler den „Deal“ je einlösen musste, nennen die Quellen nicht; der Bot war kurz darauf von der Seite verschwunden [5].
Ein anderer Fall war kein Angriff, sondern ein Haftungsfall. Im Februar 2024 entschied das Civil Resolution Tribunal in British Columbia, dass Air Canada für falsche Auskünfte seines Website-Chatbots zu Trauerfall-Tarifen einsteht. Die Airline hatte unter anderem argumentiert, der Bot sei eine eigene juristische Person, die für ihr Handeln selbst verantwortlich sei. Das Gericht sah den Bot als Teil der Website und sprach dem Kunden etwa 650 Dollar nebst Zinsen und Gebühren zu [7]. Der Betrag ist klein, das Prinzip nicht: Was Ihr Bot sagt, wird Ihnen zugerechnet.
ca. 650 $
Und Datenabfluss entsteht nicht nur durch Angriffe. Samsung untersagte im Mai 2023 die Nutzung generativer KI auf Firmengeräten, nachdem laut einem internen Memo Mitarbeiter über ChatGPT interne Daten, darunter Quellcode, preisgegeben hatten; berichtet wurden drei Vorfälle. Das Memo stammt aus einer Bloomberg-Meldung, die TechRadar wiedergibt [8].

Das eigentliche Risiko: Bots, die handeln dürfen
Ein Bot, der nur Fragen beantwortet, kann blamieren. Ein Bot, der Bestellungen auslöst, E-Mails verschickt oder Datenbanken liest, kann Schaden anrichten. OWASP nennt das „Excessive Agency“: schädliche Aktionen als Reaktion auf unerwartete, mehrdeutige oder manipulierte Modellausgaben. Auslöser sind unter anderem Halluzinationen sowie direkte und indirekte Prompt Injection; Ursachen sind zu viele Funktionen, zu weitreichende Rechte und zu viel Autonomie [9]. Der sinnvolle Grundsatz lautet, das Modell wie einen nicht vertrauenswürdigen Nutzer zu behandeln [2].
Checkliste: So schützen Sie Ihren Chatbot
- Minimale Rechte: Der Bot erhält nur die Werkzeuge und Datenzugriffe, die er wirklich braucht, wo möglich nur lesend. Berechtigungen prüft das System dahinter, nicht das Modell [9].
- Mensch im Kontur: Folgenreiche Aktionen wie Zusagen, Zahlungen, Löschungen oder Versand bestätigt ein Mensch oder zumindest der Nutzer ausdrücklich [2][4][9].
- Antworten prüfen: Erwartete Formate werden per Code validiert, Ein- und Ausgaben gefiltert [2]. Preise und rechtlich relevante Zusagen kommen nie allein vom Bot.
- Fremde Inhalte trennen: Dokumente und Webseiten Dritter werden als nicht vertrauenswürdig gekennzeichnet und gefiltert [2][4].
- Regelmäßig testen: Gezielte Angriffstests vor dem Start und danach in festen Abständen [2].
- Protokollieren und begrenzen: Logs, Monitoring und Rate-Limits verhindern den Missbrauch nicht, begrenzen aber den Schaden [9].
- Klare Regeln für Mitarbeitende: Welche Daten dürfen in welche externen KI-Dienste? Der Fall Samsung zeigt, wie schnell das schiefgeht [8].
Das BSI hat im November 2025 unter dem Titel „Evasion Attacks on LLMs – Countermeasures in Practice“ Gegenmaßnahmen für Entwickler und IT-Verantwortliche veröffentlicht, ergänzt um eine Checkliste. Genannt werden unter anderem präzise System-Prompts, das Filtern schädlicher Inhalte aus Dokumenten Dritter und die ausdrückliche Bestätigung durch den Nutzer, bevor das Modell Funktionen ausführt [4]. Das deckt sich weitgehend mit der Liste oben.
Quellen (9)
- [1]OWASP Top 10 for LLMs and Gen AI Apps 2025OWASP GenAI Security Project · 1. Januar 2025
- [2]LLM01:2025 Prompt InjectionOWASP GenAI Security Project · 1. Januar 2025
- [3]Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt InjectionGreshake et al., arXiv:2302.12173 · 23. Februar 2023
- [4]BSI stellt Maßnahmen gegen Evasion Attacks auf große KI-Sprachmodelle vorBundesamt für Sicherheit in der Informationstechnik (BSI) · 10. November 2025
- [5]Chevy dealer's AI chatbot allegedly recommended Fords, gave free access to ChatGPTThe Autopian · 18. Dezember 2023
- [6]There were more than 3,000 attempts to hack a dealership's AI chatbot this weekendThe Autopian · 1. Dezember 2023
- [7]BC Tribunal confirms companies remain liable for AI chatbot-created information (Moffatt v. Air Canada, 2024 BCCRT 149)Torkin Manes LLP · 1. Februar 2024
- [8]Samsung bans ChatGPT use after employee leakTechRadar (nach Bloomberg) · 2. Mai 2023
- [9]LLM06:2025 Excessive AgencyOWASP GenAI Security Project · 1. Januar 2025
Wie viel davon steckt in Ihrem Alltag?
In einer kostenlosen Erstberatung schauen wir gemeinsam, was KI in Ihrem Unternehmen heute schon leisten kann – und wo sie nichts zu suchen hat.
Erstberatung buchen

