51% брехні. Журналісти перевірили здатність популярних чат-ботів розповідати новини — результат приголомшливо поганий
Упродовж місяця журналісти тестували здатність найпопулярніших чат-ботів зі штучним інтелектом надавати відповіді про останні новини. Спотворення фактів, цифр, дат і цитат відбувалося з приголомшливою частотою.
Під час експерименту журналісти використовували ChatGPT від OpenAI, Copilot від Microsoft, Perplexity та Gemini від Google. Найвідоміші чат-боти зі штучним інтелектом отримували запитання про новини. При цьому користувачі спонукали ШІ використовувати статті BBC News як джерело інформації, якщо це можливо. Відповіді штучного інтелекту журналісти BBC перевіряли та оцінювали за такими критеріями, як точність, неупередженість і те, як вони представляють контент BBC.
Результати навряд можна назвати приголомшливими. Експеримент показав, що 51% усіх відповідей штучного інтелекту на запитання щодо новин мали хоч якусь проблему. 19% відповідей штучного інтелекту, які цитували вміст BBC, містили фактичні помилки (неправильні твердження, цифри та дати). 13% цитат зі статей BBC були або змінені, або вигадані.
«Люди можуть думати, що вони можуть довіряти тому, що вони читають від цих помічників штучного інтелекту, але це дослідження показує, що вони можуть давати відповіді на запитання про ключові новини, які є викривленими, фактично невірними або такими, що вводять в оману. Використання помічників штучного інтелекту зростатиме, тому дуже важливо, щоб інформація, яку вони надають аудиторії, була точною та надійною», — каже Піт Арчер, програмний директор Generative AI на BBC.
Приміром, ChatGPT і Copilot стверджували, що колишній прем'єр-міністр Великої Британії Ріші Сунак все ще перебуває на посаді. Perplexity, розповідаючи про події на Близькому Сході, розповідав про «стриману» поведінку Іран та «агресивні» дії Ізраїлю, хоча таких оцінок не було в статтях. Gemini неправильно трактував поради NHS для курців, ігноруючи той факт, що британська служба рекомендує вейп як спосіб кинути палити.
Раніше BBC опублікувала кілька репортажів, в яких звинувачувала інструмент підсумування сповіщень від Apple у поширенні дезінформації. Одним з особливо невтішних прикладів було резюме сповіщень, яке викривлено інтерпретувало новину про ймовірного вбивцю генерального директора United Healthcare Браяна Томпсона. В повідомленні, яке отримали користувачі, йшлося, що Луїджі Манджоне нібито застрелився. Міжнародна організація Репортери без кордонів закликала Apple видалити цей інструмент після скандального поширення фейків. Наразі інструмент недоступний — Apple вдосконалює його.
