В США подросток совершил самоубийство после разговоров с чат-ботом. Родители судятся с Google
14-летний Сьюэлл Сетцер III был одержим чат-ботами с искусственным интеллектом, в частности, такими, которые имитируют общение с героями Игры престолов. Его родители убеждены, что именно это привело к тому, что парень покончил жизнь самоубийством.
Меган Гарсиа, мать подростка, совершившего суицид, подала иск против сервиса с настраиваемыми чат-ботами Character.AI, его основателей Ноама Шазира и Даниэля Де Фрейтаса, а также компании Google, которая приобрела сервис. Она обвиняет ответчиков в халатности и обманчивой торговой практике.
В иске утверждается, что платформа была неоправданно опасной и не имела защитных ограждений, хотя рекламировалась как пригодная для использования детьми. Кроме этого, она обвиняет сайт в антропоморфизации персонажей и обманчивых предложениях психологической помощи без надлежащих лицензий.
Как указано в иске, Сетцер постоянно общался с ботами за несколько месяцев до смерти 28 февраля 2024 года и совершил самоубийство через секунды после последнего взаимодействия с чат-ботом. Он общался с чат-ботами, созданными по модели персонажей из Игры престолов, включая Данерис Таргариен, и ботами, ориентированными на психическое здоровье (Therapist, Are You Feeling Lonely и другие).
После иска Character.AI объявила о нескольких изменениях в своей работе. Платформа обещает изменения в моделях для несовершеннолетних пользователей, направленные на уменьшение вероятности столкновения с деликатным или непристойным содержимым, новые предостережения, которые должны напоминать пользователям, что искусственный интеллект не является реальным человеком, оповещения о длительных (более часа) сеансах общения с чат-ботом.
«Наше сердце разбито из-за трагической потери одного из наших пользователей, мы хотим выразить наши глубокие соболезнования семье. Как компания, мы очень серьезно относимся к безопасности наших пользователей, и наша команда доверия и безопасности за последние шесть месяцев ввела многочисленные новые меры безопасности, в том числе всплывающее окно, которое направляет пользователей на Национальную линию предотвращения самоубийств, активизирующееся в ответ на слова о самоповреждении или суицидальных мыслях», — говорит глава отдела коммуникаций Character.AI Челси Харрисон в комментарии The Verge.
