KOMETA MEDIA

ИИ и бизнес6 мин чтения

Во что ИИ-провалы обошлись крупным компаниям

От 100 млрд долларов капитализации до свёрнутого пилота: шесть задокументированных провалов ИИ и их уроки о контроле и тестировании.

Стеклянная столбчатая диаграмма рушится, линия резко падает

Разговор о провалах ИИ быстро скатывается к заголовкам и злорадству. Толку от этого мало. Интереснее вопрос, чему можно научиться на хорошо задокументированных случаях: что именно произошло, во что это обошлось и в каком месте помогла бы простая проверка? Мы собрали шесть случаев 2021–2025 годов, каждый из которых подтверждён сообщениями самих компаний или крупных СМИ. Там, где цифры ненадёжны, мы их не приводим.

01

Alphabet, 2023: одна неверная фраза в рекламе

В феврале 2023 года Google опубликовала рекламную GIF-анимацию своего чат-бота Bard. В ней говорилось, что космический телескоп «Джеймс Уэбб» сделал первые снимки планеты за пределами нашей Солнечной системы. Это было неправдой: по данным НАСА, первые такие снимки сделал в 2004 году Очень большой телескоп (Very Large Telescope) Европейской южной обсерватории. На ошибку обратило внимание агентство Reuters [1].

Реакция биржи была однозначной. По данным Reuters, в ту среду Alphabet потеряла около 100 млрд долларов рыночной стоимости; в ходе торгов акции временами теряли до 9 % [1]. Представитель Google заявил, что инцидент показывает, насколько важен строгий процесс тестирования, и объявил о программе для внешних тестировщиков [1]. Важно для понимания: курс никогда не зависит от одного-единственного события. Но этот случай показывает, насколько дорого может обойтись непроверенная фраза в публичной презентации.

ок. 100 млрд долларов США

рыночной стоимости потеряла Alphabet, по данным Reuters, в день ошибки Bard (8 февраля 2023 года) Источник [1]
Треснувший стеклянный дом на фоне падающей линии света
02

Zillow, 2021: когда прогнозы подкреплены собственным капиталом

Zillow Offers напрямую выкупала дома, чтобы перепродать их. Бизнес зависел от того, насколько точно удаётся предсказывать будущие цены продажи. 2 ноября 2021 года совет директоров решил свернуть этот бизнес, назвав среди причин непредсказуемость цен на жильё и ограниченные мощности [2].

В третьем квартале 2021 года Zillow списала 304,4 млн долларов США стоимости жилого фонда, потому что дома покупались по ценам выше расчётной будущей цены продажи за вычетом расходов на продажу. По домам с уже заключёнными договорами компания ожидала дополнительных потерь примерно в 240–265 млн долларов США, а также 175–230 млн долларов США доналоговых расходов на сворачивание бизнеса. Штат должен был сократиться примерно на 25 % [2]. Урок: прогноз — не гарантия, и чем больше сумма, которая от него зависит, тем строже его нужно сверять с реальностью.

304,4 млн долларов США

списание стоимости жилого фонда Zillow Offers в третьем квартале 2021 года Источник [2]

ок. 25 %

запланированное сокращение штата Zillow в ходе сворачивания Zillow Offers Источник [2]
03

McDonald's, 2024: два года тестов, внедрения нет

С октября 2021 года McDonald's вместе с IBM тестировала автоматический приём заказов в драйв-ин, в последнее время примерно в 100 ресторанах. В июне 2024 года стало известно, что сотрудничество по этому проекту не продлится дольше конца года. Целью перед более широким внедрением компания называла точность заказов выше 95 %. По оценке аналитического отчёта 2022 года, точность была лишь немногим выше 80 %; кроме того, ошибки в отдельных заказах расходились по соцсетям [3].

Это пример того, как должен работать пилот: с чёткой целевой отметкой, ограниченным масштабом и готовностью остановиться, если цель не достигнута. McDonald's подчеркнула, что IBM остаётся партнёром, и объявила, что до конца года определится с будущей голосовой системой [3]. Сумма затрат не называлась.

Треснувший смартфон с двумя светящимися облачками чата
04

Air Canada, 2024: чат-бот — часть сайта

После смерти бабушки клиент спросил чат-бота Air Canada о траурных тарифах. Бот ответил, что льготный тариф можно оформить и задним числом. Правила авиакомпании предусматривали иное [4]. В феврале 2024 года трибунал по гражданским спорам провинции Британская Колумбия (Civil Resolution Tribunal) вынес решение в пользу клиента. Air Canada среди прочего утверждала, что не обязана отвечать за сведения своих чат-ботов; трибунал с этим не согласился [4].

Для Air Canada должно быть очевидно, что она отвечает за всю информацию на своём сайте.

Член трибунала Кристофер Риверс по делу Moffatt v. Air Canada, цитата по Gizmodo [4]

Сумма была небольшой: 650,88 доллара возмещения ущерба, 36,14 доллара процентов и 125 долларов сборов, всего 812,02 доллара [5]. Настоящей ценой стало внимание общественности. Для компаний вывод простой: то, что чат-бот говорит на вашем сайте, клиенты и общественность воспринимают как заявление компании.

05

Klarna, 2025: когда главный критерий — затраты

В феврале 2024 года Klarna заявила, что её ИИ-ассистент выполняет работу 700 сотрудников клиентской поддержки и за первый месяц обработал 75 % чатов — около 2,3 млн разговоров [6]. В мае 2025 года глава компании Себастьян Семятковский сказал Bloomberg, что стратегия с упором на ИИ была неверным путём: чат-боты дешевле, но дают более низкое качество. Klarna снова нанимает людей в поддержку, чтобы клиенты всегда могли связаться с человеком, если захотят [6].

Klarna по-прежнему делает ставку на ИИ — только как на часть смешанной модели. Этот случай — не поражение технологии, а пример показателя, которого в одиночку недостаточно: сэкономленные затраты ничего не говорят о том, хорошо ли обслуживают клиентов. Сумма ущерба не подтверждена, поэтому мы её не приводим.

06

Apple, 2025: сводки под чужим логотипом

Apple Intelligence автоматически кратко пересказывала push-уведомления с новостями. В декабре 2024 года BBC пожаловалась, потому что сводка под её логотипом ложно утверждала, будто подозреваемый в убийстве главы UnitedHealthcare Брайана Томпсона застрелился [7]. 17 января 2025 года Apple заявила, что сводки для новостей и развлечений временно недоступны; функция должна вернуться в одном из следующих обновлений [7].

Здесь пострадало доверие, а ущерб не выражался в сумме, которую можно посчитать. Особенно щекотливо то, что ошибки появлялись под именем третьей стороны, которая их не проверяла.

07

Что объединяет эти случаи

Ни в одном из этих случаев технология не была единственной причиной. Каждый раз не хватало чего-то обыденного: проверки фактов перед публикацией, измеримого критерия остановки, человека, который проверяет ответ, или честного вопроса, действительно ли польза так велика, как обещают слайды. Снова и снова повторяются четыре закономерности:

  • Непроверенные результаты попадают прямо к публике (Alphabet, Apple).
  • Прогноз считают данностью, хотя от него зависят большие деньги (Zillow).
  • У пилота нет цели, по которой его можно оценить, или эту цель игнорируют (McDonald's).
  • Человека исключают из процесса раньше, чем решены вопросы качества и ответственности (Air Canada, Klarna).

Ни один из случаев не говорит против использования ИИ. Они говорят за то, чтобы обращаться с ним как с любым другим инструментом, у которого есть последствия: тестировать, ограничивать, контролировать и оценивать по результату.

Источники (7)
  1. [1]After Google AI chatbot ‘Bard’ blunder, Alphabet shares lose $100 billion (материал Reuters)Gulf News · 9 февраля 2023 г.
  2. [2]Zillow Group, Form 8-K (решение о сворачивании Zillow Offers)U.S. Securities and Exchange Commission (SEC) · 2 ноября 2021 г.
  3. [3]McDonald’s is ending its AI drive-thru test with IBMNation’s Restaurant News · 17 июня 2024 г.
  4. [4]Air Canada Chatbot Lied About Bereavement Discounts, Now Has to PayGizmodo · 16 февраля 2024 г.
  5. [5]Company is liable for chatbot miscommunications, holds Canadian tribunalDeneys Reitz · 27 февраля 2024 г.
  6. [6]Klarna Is Hiring Customer Service Agents After AI Couldn’t Cut It on Calls, According to the Company’s CEOEntrepreneur (со ссылкой на Bloomberg) · 9 мая 2025 г.
  7. [7]Apple suspends AI news after BBC complaintsAdvanced Television · 17 января 2025 г.

Сколько этого уже есть в вашей повседневной работе?

На бесплатной первой консультации мы вместе посмотрим, что ИИ уже сегодня может делать в вашей компании — и где ему не место.

Записаться на консультацию

Другие статьи