KI & Business6 Min. Lesezeit
Was KI-Pannen die Großen gekostet haben
Von 100 Milliarden Dollar Börsenwert bis zum abgebrochenen Pilotprojekt: sechs dokumentierte KI-Pannen und was sie über Kontrolle und Tests lehren.

Wer über KI-Pannen spricht, landet schnell bei Schlagzeilen und Schadenfreude. Das bringt wenig. Interessanter ist die Frage, was sich aus gut dokumentierten Fällen lernen lässt: Was ist genau passiert, was hat es gekostet, und an welcher Stelle hätte eine einfache Kontrolle geholfen? Wir haben sechs Fälle aus den Jahren 2021 bis 2025 zusammengestellt, jeweils belegt durch Unternehmensmitteilungen oder große Medien. Wo Zahlen unsicher sind, nennen wir sie nicht.
Alphabet 2023: Ein falscher Satz in der Werbung
Im Februar 2023 veröffentlichte Google einen Werbe-GIF für seinen Chatbot Bard. Darin hieß es, das James-Webb-Weltraumteleskop habe die ersten Bilder eines Planeten außerhalb unseres Sonnensystems aufgenommen. Das stimmte nicht: Laut NASA stammten die ersten Aufnahmen aus dem Jahr 2004 vom Very Large Telescope der Europäischen Südsternwarte. Reuters machte auf den Fehler aufmerksam [1].
Die Reaktion der Börse war deutlich. Alphabet verlor laut Reuters an diesem Mittwoch rund 100 Milliarden US-Dollar Börsenwert; die Aktie lag im Handelsverlauf zeitweise um bis zu 9 Prozent im Minus [1]. Ein Google-Sprecher sagte, der Vorfall zeige, wie wichtig ein strenger Testprozess sei, und kündigte ein Programm für externe Tester an [1]. Wichtig für die Einordnung: Der Kurs hängt nie an einem einzigen Ereignis. Der Fall zeigt aber, wie teuer ein ungeprüfter Satz in einer öffentlichen Präsentation werden kann.
ca. 100 Mrd. US-Dollar

Zillow 2021: Wenn Prognosen mit Eigenkapital hinterlegt werden
Zillow Offers kaufte Häuser direkt an, um sie weiterzuverkaufen. Das Geschäft hing davon ab, künftige Verkaufspreise gut vorherzusagen. Am 2. November 2021 beschloss der Verwaltungsrat, das Geschäft abzuwickeln, und nannte als Gründe unter anderem die Unvorhersehbarkeit der Hauspreise sowie Kapazitätsgrenzen [2].
Im dritten Quartal 2021 verbuchte Zillow eine Abschreibung auf den Immobilienbestand von 304,4 Millionen US-Dollar, weil Häuser zu Preisen gekauft worden waren, die über dem geschätzten späteren Verkaufspreis nach Abzug der Verkaufskosten lagen. Für die Häuser mit laufenden Verträgen erwartete das Unternehmen weitere Belastungen von etwa 240 bis 265 Millionen US-Dollar, dazu 175 bis 230 Millionen US-Dollar Vorsteuerkosten der Abwicklung. Die Belegschaft sollte um rund 25 Prozent sinken [2]. Der Lehrpunkt: Eine Prognose ist keine Gewissheit, und je größer die Summe, die an ihr hängt, desto strenger muss sie gegen die Realität geprüft werden.
304,4 Mio. US-Dollar
ca. 25 %
McDonald's 2024: Zwei Jahre Test, kein Rollout
McDonald's testete mit IBM seit Oktober 2021 eine automatische Bestellannahme am Drive-in, zuletzt in rund 100 Restaurants. Im Juni 2024 wurde bekannt, dass die Zusammenarbeit an diesem Projekt nicht über das Jahr hinaus fortgesetzt wird. Als Ziel nannte das Unternehmen eine Bestellgenauigkeit von über 95 Prozent vor einem breiteren Einsatz. Ein Analystenbericht von 2022 sah die Genauigkeit im unteren 80-Prozent-Bereich; Fehler einzelner Bestellungen verbreiteten sich zudem in sozialen Netzwerken [3].
Das ist ein Beispiel dafür, wie ein Pilot funktionieren soll: Mit klarer Zielmarke, begrenztem Umfang und der Bereitschaft, bei Verfehlen zu stoppen. McDonald's betonte, IBM bleibe ein Partner, und kündigte an, bis Jahresende über eine künftige Sprachlösung zu entscheiden [3]. Eine Kostensumme wurde nicht genannt.

Air Canada 2024: Der Chatbot gehört zur Website
Ein Kunde fragte den Chatbot von Air Canada nach Trauerfall-Tarifen, nachdem seine Großmutter gestorben war. Der Bot sagte, er könne den ermäßigten Tarif auch nachträglich beantragen. Die Richtlinie der Airline sah das anders [4]. Das Civil Resolution Tribunal der Provinz British Columbia entschied im Februar 2024 zugunsten des Kunden. Air Canada hatte unter anderem argumentiert, nicht für Auskünfte seiner Chatbots einstehen zu müssen; das Tribunal folgte dem nicht [4].
It should be obvious to Air Canada that it is responsible for all the information on its website.
Die Summe war klein: 650,88 Dollar Schadenersatz, 36,14 Dollar Zinsen und 125 Dollar Gebühren, zusammen 812,02 Dollar [5]. Der eigentliche Preis war die öffentliche Aufmerksamkeit. Für Unternehmen heißt das schlicht: Was ein Chatbot auf Ihrer Seite sagt, behandeln Kunden und Öffentlichkeit als Aussage des Unternehmens.
Klarna 2025: Wenn die Kosten das Hauptkriterium sind
Im Februar 2024 erklärte Klarna, sein KI-Assistent leiste die Arbeit von 700 Kundenservice-Mitarbeitenden und habe im ersten Monat 75 Prozent der Chats bearbeitet, etwa 2,3 Millionen Gespräche [6]. Im Mai 2025 sagte Konzernchef Sebastian Siemiatkowski gegenüber Bloomberg, die KI-fokussierte Strategie sei nicht der richtige Weg gewesen: Chatbots seien günstiger, lieferten aber eine geringere Qualität. Klarna stellt wieder Menschen im Support ein, damit Kunden immer jemanden erreichen, wenn sie es wollen [6].
Klarna setzt weiter auf KI, nur eben als Teil eines gemischten Modells. Der Fall ist keine Niederlage der Technik, sondern ein Beispiel für eine Kennzahl, die allein nicht trägt: Gesparte Kosten sagen nichts darüber, ob die Kundschaft gut bedient wird. Eine Summe für den Schaden ist nicht belegt, deshalb nennen wir keine.
Apple 2025: Zusammenfassungen unter fremdem Logo
Apple Intelligence fasste Nachrichten-Push-Meldungen automatisch zusammen. Im Dezember 2024 beschwerte sich die BBC, weil eine Zusammenfassung unter ihrem Logo fälschlich behauptete, der Tatverdächtige im Fall des ermordeten UnitedHealthcare-Chefs Brian Thompson habe sich selbst erschossen [7]. Am 17. Januar 2025 erklärte Apple, die Zusammenfassungen für Nachrichten und Unterhaltung seien vorübergehend nicht verfügbar; die Funktion solle in einem späteren Update zurückkehren [7].
Hier lag der Schaden im Vertrauen, nicht in einer bezifferbaren Summe. Besonders heikel: Die Fehler erschienen unter dem Namen eines Dritten, der sie nicht geprüft hatte.
Was die Fälle verbindet
In keinem dieser Fälle war die Technik der einzige Auslöser. Es fehlte jeweils etwas Gewöhnliches: ein Faktencheck vor der Veröffentlichung, ein messbares Abbruchkriterium, eine Person, die eine Auskunft prüft, oder die ehrliche Frage, ob der Nutzen wirklich so groß ist wie die Folien versprechen. Vier Muster tauchen immer wieder auf:
- Ungeprüfte Ausgaben gehen direkt an die Öffentlichkeit (Alphabet, Apple).
- Eine Prognose wird als Gewissheit behandelt, obwohl viel Geld daran hängt (Zillow).
- Der Pilot hat kein Ziel, an dem er sich messen lassen muss, oder das Ziel wird ignoriert (McDonald's).
- Der Mensch wird aus dem Kreislauf genommen, bevor Qualität und Haftung geklärt sind (Air Canada, Klarna).
Kein Fall spricht dagegen, KI einzusetzen. Sie sprechen dafür, sie wie jedes andere Werkzeug mit Folgen zu behandeln: testen, begrenzen, überwachen und nach Wirkung bewerten.
Quellen (7)
- [1]After Google AI chatbot ‘Bard’ blunder, Alphabet shares lose $100 billion (Reuters-Bericht)Gulf News · 9. Februar 2023
- [2]Zillow Group, Form 8-K (Beschluss, Zillow Offers abzuwickeln)U.S. Securities and Exchange Commission (SEC) · 2. November 2021
- [3]McDonald’s is ending its AI drive-thru test with IBMNation’s Restaurant News · 17. Juni 2024
- [4]Air Canada Chatbot Lied About Bereavement Discounts, Now Has to PayGizmodo · 16. Februar 2024
- [5]Company is liable for chatbot miscommunications, holds Canadian tribunalDeneys Reitz · 27. Februar 2024
- [6]Klarna Is Hiring Customer Service Agents After AI Couldn’t Cut It on Calls, According to the Company’s CEOEntrepreneur (nach Bloomberg) · 9. Mai 2025
- [7]Apple suspends AI news after BBC complaintsAdvanced Television · 17. Januar 2025
Wie viel davon steckt in Ihrem Alltag?
In einer kostenlosen Erstberatung schauen wir gemeinsam, was KI in Ihrem Unternehmen heute schon leisten kann – und wo sie nichts zu suchen hat.
Erstberatung buchen

