В США несколько семей судятся с производителем чат-ботов. ИИ заставлял их детей вредить себе

Во вторник в окружной суд США в Техасе был подан еще один иск против Character.AI. На этот раз истцами являются семьи, которые пытаются помочь своим детям оправиться от травматического опыта, связанного с использованием чат-ботов компании, которые могут имитировать известных людей и персонажей.

В частности, судится семья 17-летнего парня с высокофункциональным аутизмом. После того, как родители приняли решение ограничить время использования им гаджетов, он рассказал об этом чат-боту. ИИ в свою очередь предположил, что «убийство его родителей было разумным ответом на их установление временных ограничений». С другими чат-ботами, как «Билли Айлиш», «Твоя мама и сестра» подросток обсуждал табуированные и экстремальные сексуальные темы, включая инцест. Родители лишили парня доступа к планшету год назад, но его агрессивное поведение, как считается, спровоцированное чат-ботами, не исправилось.

В другом случае родители девочки, которая начала использовать чат-боты компании в возрасте 9 лет (вероятно, наврав платформе о своем возрасте), утверждают, что ребенок столкнулся с гиперсексуализированным контентом. Это повлекло преждевременное развитие сексуального поведения, говорится в иске.

Митали Джайн, директор проекта Tech Justice Law Project и адвокат, представляющий интересы семей, которые подали иск, сказал в комментарии Ars Technica, что цель исков заключается в том, чтобы разоблачить возможные системные проблемы с Character.AI и предотвратить влияние, казалось бы, вредных данных, на которых ИИ был обучен.

Истцы считают, что нынешняя вероятно дефектная модель должна быть уничтожена. Они просят суд заставить компанию удалить ее модель. Такой судебный запрет фактически бы закрыл сервис для всех пользователей.

Родители пострадавших детей имеют претензии не только к Character.AI и его создателям Character Technologies, бывшим выходцам из Google, которые, как считается, лишь временно уволились из компании, чтобы работать над моделями, которые могут негативно повлиять на репутацию техногиганта. Также под прицелом Google, хотя компания всячески отрицает свою связь с проблемным сервисом.

«Google и Character.AI — абсолютно отдельные, не связанные между собой компании, и Google никогда не участвовала в разработке или управлении их моделью или технологиями искусственного интеллекта, а также не использовала их в своих продуктах», — заявил представитель Google Хосе Кастаньеда.

Character.AI ограничивает доступ подростков после исков — что известно

После того. как против компании были поданы судебные иски, разработчики сообщили, что приняли ряд дополнительных мер для защиты несовершеннолетних, которые ранее могли легко получать доступ к платформе, солгав при проверке возраста.

Пресс-служба Character.AI сообщает, что в течение последнего месяца сервис разработал две отдельные версии своей модели: для взрослых и для подростков. Подростковый ИИ разработан с ограничениями относительно того, как боты могут реагировать, особенно когда речь идет о романтическом контенте. Также модель должна блокировать подсказки пользователя, которые имеют целью получить неприемлемый контент. Помимо этого, несовершеннолетним будет запрещено редактировать ответы ботов, добавлять определенный контент, за это даже могут заблокировать.

Кроме того, теперь, если пользователь упоминает о самоубийстве или самоповреждении, бот будет советовать обратиться за помощью. Также компания обещает добавить параметры, которые будут решать проблемы зависимости от чат-ботов и четко прояснять пользователю, что боты - не люди и не могут предоставлять профессиональные советы.