KOMETA MEDIA

KI & Business6 Min. Lesezeit

Was KI-Pannen die Großen gekostet haben

Von 100 Milliarden Dollar Börsenwert bis zum abgebrochenen Pilotprojekt: sechs dokumentierte KI-Pannen und was sie über Kontrolle und Tests lehren.

Ein gläsernes Balkendiagramm bricht ein, eine Linie stürzt ab

Wer über KI-Pannen spricht, landet schnell bei Schlagzeilen und Schadenfreude. Das bringt wenig. Interessanter ist die Frage, was sich aus gut dokumentierten Fällen lernen lässt: Was ist genau passiert, was hat es gekostet, und an welcher Stelle hätte eine einfache Kontrolle geholfen? Wir haben sechs Fälle aus den Jahren 2021 bis 2025 zusammengestellt, jeweils belegt durch Unternehmensmitteilungen oder große Medien. Wo Zahlen unsicher sind, nennen wir sie nicht.

01

Alphabet 2023: Ein falscher Satz in der Werbung

Im Februar 2023 veröffentlichte Google einen Werbe-GIF für seinen Chatbot Bard. Darin hieß es, das James-Webb-Weltraumteleskop habe die ersten Bilder eines Planeten außerhalb unseres Sonnensystems aufgenommen. Das stimmte nicht: Laut NASA stammten die ersten Aufnahmen aus dem Jahr 2004 vom Very Large Telescope der Europäischen Südsternwarte. Reuters machte auf den Fehler aufmerksam [1].

Die Reaktion der Börse war deutlich. Alphabet verlor laut Reuters an diesem Mittwoch rund 100 Milliarden US-Dollar Börsenwert; die Aktie lag im Handelsverlauf zeitweise um bis zu 9 Prozent im Minus [1]. Ein Google-Sprecher sagte, der Vorfall zeige, wie wichtig ein strenger Testprozess sei, und kündigte ein Programm für externe Tester an [1]. Wichtig für die Einordnung: Der Kurs hängt nie an einem einzigen Ereignis. Der Fall zeigt aber, wie teuer ein ungeprüfter Satz in einer öffentlichen Präsentation werden kann.

ca. 100 Mrd. US-Dollar

Börsenwert, den Alphabet laut Reuters am Tag des Bard-Fehlers (8. Februar 2023) verlor Quelle [1]
Ein gesprungenes Glashaus vor einer fallenden Lichtlinie
02

Zillow 2021: Wenn Prognosen mit Eigenkapital hinterlegt werden

Zillow Offers kaufte Häuser direkt an, um sie weiterzuverkaufen. Das Geschäft hing davon ab, künftige Verkaufspreise gut vorherzusagen. Am 2. November 2021 beschloss der Verwaltungsrat, das Geschäft abzuwickeln, und nannte als Gründe unter anderem die Unvorhersehbarkeit der Hauspreise sowie Kapazitätsgrenzen [2].

Im dritten Quartal 2021 verbuchte Zillow eine Abschreibung auf den Immobilienbestand von 304,4 Millionen US-Dollar, weil Häuser zu Preisen gekauft worden waren, die über dem geschätzten späteren Verkaufspreis nach Abzug der Verkaufskosten lagen. Für die Häuser mit laufenden Verträgen erwartete das Unternehmen weitere Belastungen von etwa 240 bis 265 Millionen US-Dollar, dazu 175 bis 230 Millionen US-Dollar Vorsteuerkosten der Abwicklung. Die Belegschaft sollte um rund 25 Prozent sinken [2]. Der Lehrpunkt: Eine Prognose ist keine Gewissheit, und je größer die Summe, die an ihr hängt, desto strenger muss sie gegen die Realität geprüft werden.

304,4 Mio. US-Dollar

Abschreibung auf den Immobilienbestand von Zillow Offers im dritten Quartal 2021 Quelle [2]

ca. 25 %

geplanter Stellenabbau bei Zillow im Zuge der Abwicklung von Zillow Offers Quelle [2]
03

McDonald's 2024: Zwei Jahre Test, kein Rollout

McDonald's testete mit IBM seit Oktober 2021 eine automatische Bestellannahme am Drive-in, zuletzt in rund 100 Restaurants. Im Juni 2024 wurde bekannt, dass die Zusammenarbeit an diesem Projekt nicht über das Jahr hinaus fortgesetzt wird. Als Ziel nannte das Unternehmen eine Bestellgenauigkeit von über 95 Prozent vor einem breiteren Einsatz. Ein Analystenbericht von 2022 sah die Genauigkeit im unteren 80-Prozent-Bereich; Fehler einzelner Bestellungen verbreiteten sich zudem in sozialen Netzwerken [3].

Das ist ein Beispiel dafür, wie ein Pilot funktionieren soll: Mit klarer Zielmarke, begrenztem Umfang und der Bereitschaft, bei Verfehlen zu stoppen. McDonald's betonte, IBM bleibe ein Partner, und kündigte an, bis Jahresende über eine künftige Sprachlösung zu entscheiden [3]. Eine Kostensumme wurde nicht genannt.

Ein gesprungenes Smartphone mit zwei leuchtenden Chat-Blasen
04

Air Canada 2024: Der Chatbot gehört zur Website

Ein Kunde fragte den Chatbot von Air Canada nach Trauerfall-Tarifen, nachdem seine Großmutter gestorben war. Der Bot sagte, er könne den ermäßigten Tarif auch nachträglich beantragen. Die Richtlinie der Airline sah das anders [4]. Das Civil Resolution Tribunal der Provinz British Columbia entschied im Februar 2024 zugunsten des Kunden. Air Canada hatte unter anderem argumentiert, nicht für Auskünfte seiner Chatbots einstehen zu müssen; das Tribunal folgte dem nicht [4].

It should be obvious to Air Canada that it is responsible for all the information on its website.

Tribunal-Mitglied Christopher Rivers im Fall Moffatt v. Air Canada, zitiert bei Gizmodo [4]

Die Summe war klein: 650,88 Dollar Schadenersatz, 36,14 Dollar Zinsen und 125 Dollar Gebühren, zusammen 812,02 Dollar [5]. Der eigentliche Preis war die öffentliche Aufmerksamkeit. Für Unternehmen heißt das schlicht: Was ein Chatbot auf Ihrer Seite sagt, behandeln Kunden und Öffentlichkeit als Aussage des Unternehmens.

05

Klarna 2025: Wenn die Kosten das Hauptkriterium sind

Im Februar 2024 erklärte Klarna, sein KI-Assistent leiste die Arbeit von 700 Kundenservice-Mitarbeitenden und habe im ersten Monat 75 Prozent der Chats bearbeitet, etwa 2,3 Millionen Gespräche [6]. Im Mai 2025 sagte Konzernchef Sebastian Siemiatkowski gegenüber Bloomberg, die KI-fokussierte Strategie sei nicht der richtige Weg gewesen: Chatbots seien günstiger, lieferten aber eine geringere Qualität. Klarna stellt wieder Menschen im Support ein, damit Kunden immer jemanden erreichen, wenn sie es wollen [6].

Klarna setzt weiter auf KI, nur eben als Teil eines gemischten Modells. Der Fall ist keine Niederlage der Technik, sondern ein Beispiel für eine Kennzahl, die allein nicht trägt: Gesparte Kosten sagen nichts darüber, ob die Kundschaft gut bedient wird. Eine Summe für den Schaden ist nicht belegt, deshalb nennen wir keine.

06

Apple 2025: Zusammenfassungen unter fremdem Logo

Apple Intelligence fasste Nachrichten-Push-Meldungen automatisch zusammen. Im Dezember 2024 beschwerte sich die BBC, weil eine Zusammenfassung unter ihrem Logo fälschlich behauptete, der Tatverdächtige im Fall des ermordeten UnitedHealthcare-Chefs Brian Thompson habe sich selbst erschossen [7]. Am 17. Januar 2025 erklärte Apple, die Zusammenfassungen für Nachrichten und Unterhaltung seien vorübergehend nicht verfügbar; die Funktion solle in einem späteren Update zurückkehren [7].

Hier lag der Schaden im Vertrauen, nicht in einer bezifferbaren Summe. Besonders heikel: Die Fehler erschienen unter dem Namen eines Dritten, der sie nicht geprüft hatte.

07

Was die Fälle verbindet

In keinem dieser Fälle war die Technik der einzige Auslöser. Es fehlte jeweils etwas Gewöhnliches: ein Faktencheck vor der Veröffentlichung, ein messbares Abbruchkriterium, eine Person, die eine Auskunft prüft, oder die ehrliche Frage, ob der Nutzen wirklich so groß ist wie die Folien versprechen. Vier Muster tauchen immer wieder auf:

  • Ungeprüfte Ausgaben gehen direkt an die Öffentlichkeit (Alphabet, Apple).
  • Eine Prognose wird als Gewissheit behandelt, obwohl viel Geld daran hängt (Zillow).
  • Der Pilot hat kein Ziel, an dem er sich messen lassen muss, oder das Ziel wird ignoriert (McDonald's).
  • Der Mensch wird aus dem Kreislauf genommen, bevor Qualität und Haftung geklärt sind (Air Canada, Klarna).

Kein Fall spricht dagegen, KI einzusetzen. Sie sprechen dafür, sie wie jedes andere Werkzeug mit Folgen zu behandeln: testen, begrenzen, überwachen und nach Wirkung bewerten.

Quellen (7)
  1. [1]After Google AI chatbot ‘Bard’ blunder, Alphabet shares lose $100 billion (Reuters-Bericht)Gulf News · 9. Februar 2023
  2. [2]Zillow Group, Form 8-K (Beschluss, Zillow Offers abzuwickeln)U.S. Securities and Exchange Commission (SEC) · 2. November 2021
  3. [3]McDonald’s is ending its AI drive-thru test with IBMNation’s Restaurant News · 17. Juni 2024
  4. [4]Air Canada Chatbot Lied About Bereavement Discounts, Now Has to PayGizmodo · 16. Februar 2024
  5. [5]Company is liable for chatbot miscommunications, holds Canadian tribunalDeneys Reitz · 27. Februar 2024
  6. [6]Klarna Is Hiring Customer Service Agents After AI Couldn’t Cut It on Calls, According to the Company’s CEOEntrepreneur (nach Bloomberg) · 9. Mai 2025
  7. [7]Apple suspends AI news after BBC complaintsAdvanced Television · 17. Januar 2025

Wie viel davon steckt in Ihrem Alltag?

In einer kostenlosen Erstberatung schauen wir gemeinsam, was KI in Ihrem Unternehmen heute schon leisten kann – und wo sie nichts zu suchen hat.

Erstberatung buchen

Weitere Beiträge