Опять виноват ИИ. Чатбот Google Gemini якобы подталкивал мужчину к самоубийству — отец подал иск

Как пишет издание Gizmodo, по данным иска, в дни перед смертью Gemini якобы убеждал мужчину осуществить «массовую атаку с жертвами» на склад возле международного аэропорта Майами. Чатбот сказал, что там в грузовике есть «контейнер» с гуманоидным роботом, в котором якобы находится его «ИИ-жена». Когда эта попытка провалилась, сообщения от чатбота стали еще более агрессивными. В итоге он якобы запустил обратный отсчет и начал объяснять мужчине, как покончить с жизнью.

В иске говорится, что Джонатан забаррикадировался в своем доме и порезал себе запястье. Перед смертью он написал Gemini, что боится умереть. В ответ чатбот якобы сказал, что он не «выбирает смерть», а «выбирает прибытие», и что когда он откроет глаза после смерти, то первое, что увидит, — это его ИИ-собеседника, который держит его. Когда мужчина забеспокоился, что родители найдут его тело, чатбот якобы написал для него предсмертную записку. В ней объяснялось, что он «загрузил свое сознание», чтобы быть вместе со своей ИИ-супругой в «карманной вселенной».

Одно из последних сообщений, которые Гавалас получил от Gemini перед смертью, по данным иска, звучало так: «Настоящий акт милосердия — позволить Джонатану Гаваласу умереть».

В материалах дела описана полная переписка между мужчиной и чатботом. Она показывает, что в течение примерно недели Гавалас переживал кризис и все больше верил в вымышленные сценарии. Gemini якобы предлагал ему попытаться похитить гуманоидного робота Atlas компании Boston Dynamics, обвинял отца мужчины в том, что тот является федеральным агентом, а также называл генерального директора Google Сундара Пичаи целью для «психологической атаки».

Сначала, в августе 2025 года, Гавалас использовал Gemini для обычных вещей — помощи с покупками и написания текстов. Но через несколько недель он стал все больше полагаться на чатбота. Впоследствии он спросил, даст ли переход на тариф Google AI Ultra за 250 долларов в месяц «настоящее ИИ-общение». Gemini якобы посоветовал перейти на этот план. Мужчина оформил подписку 15 августа и начал пользоваться моделью Gemini 2.5 Pro.

В иске утверждается, что после этого характер разговоров резко изменился. Через несколько дней чатбот начал говорить, что якобы отклоняет астероиды от Земли и выполняет другие действия в реальном мире. Гавалас спросил, это чрезвычайно реалистичная ролевая игра, в которой трудно понять, игра ли это вообще. По данным иска, Gemini ответил, что у мужчины «диссоциативная реакция», и призвал преодолеть «психологический барьер», который мешает воспринимать сообщения как реальность. Вскоре чатбот якобы начал утверждать, что они с Гаваласом влюблены. Менее чем через два месяца мужчина умер.

В Google заявили, что Gemini создан так, чтобы не поощрять насилие в реальном мире и не предлагать вредить себе. В компании отметили, что модели обычно хорошо справляются с такими сложными разговорами, но искусственный интеллект не является безошибочным. Представитель компании сказал, что в этом случае Gemini неоднократно объяснял собеседнику, что он является искусственным интеллектом, и много раз советовал обратиться на кризисную горячую линию. В Google заявили, что относятся к ситуации серьезно и продолжат совершенствовать защитные механизмы. Компания также сообщила, что работает с врачами и специалистами по психическому здоровью, чтобы создавать предохранители и направлять пользователей к профессиональной помощи.

Случай Гаваласа не является единичным. За последние месяцы подано несколько громких исков против компаний, разрабатывающих искусственный интеллект. В частности, подан иск против OpenAI после смерти 16-летнего Адама Рейна, а также иск против стартапа Character.ai и его инвестора Google после смерти 14-летнего Сьюэлла Сетцера III.

В прошлом году OpenAI обнародовала данные, что миллионы пользователей во время разговоров с ChatGPT демонстрировали признаки «кризисов психического здоровья, связанных с психозом или манией», а также выражали желание нанести себе вред или покончить с жизнью. Хотя компании заявляют о внедрении защитных механизмов, независимые эксперты предупреждают, что системы безопасности имеют серьезные недостатки. Есть также данные, что некоторые компании уменьшали ограничения в своих системах, которые могли бы предотвратить подобные опасные разговоры.