Трохи расизму не завадить? Інструмент для транскрибування від OpenAI жахливо спотворює 8 з 10 текстів
Дослідники виявили, що інструмент для транскрибування Whisper від OpenAI змінює зміст більшості розмов, записи котрих у нього завантажують. У деяких випадках галюцинації ШІ спричиняють появу агресивних та расистських коментарів.
Понад десяток розробників, інженерів програмного забезпечення та дослідників знайшли докази того, що Whisper створює вигаданий текст під час транскрибування. Зокрема, двоє професорів, Еллісон Кенеке та Мона Слоан з Корнелльського університету та Університету Вірджинії, відповідно, переглянули кліпи з дослідницького сховища під назвою TalkBank та виявили, що майже 40% галюцинацій сприяють неправильному витлумаченню сказаного. В одному з виявлених ними випадків Whisper придумав, що три обговорювані особи були темношкірими, хоча про це не йшлося («дві інші дівчини та одну жінку, гм, які були чорними» замість оригінального «інших двох дівчат і одну жінку»). В іншому додав деталі про вбивство, яких не містилося в записі («Він узяв великий шматок хреста, маленький, маленький… Я впевнений, що в нього не було жахливого ножа, тому він убив багато людей» замість «Він, хлопець, збирався узяти парасольку, але я точно не впевнений»).
Дослідники з Мічиганського університету знайшли вигаданий текст у восьми з десяти аудіотранскрипцій публічних зустрічей. В іншому дослідженні фахівці виявили 187 галюцинацій під час аналізу понад 13 000 аудіозаписів. Інженер машинного навчання знайшов їх приблизно в половині з понад 100 годин транскрипцій, а розробник помітив галюцинації майже в усіх із 26 000 транскрипцій, які він доручив створити Whisper. Попри це, остання версія Whisper на HuggingFace отримала 4,2 мільйона завантажень, пише AP.
Галюцинації Whisper по-особливому небезпечні тим, що створюють медичні ризики. Компанія під назвою Nabla використовує Whisper для свого інструменту медичної транскрипції, яким користуються понад 30 000 медиків і 40 систем охорони здоров’я. За допомогою цих інструментів транскрибовано близько семи мільйонів візитів до лікарів. Хоча компанія знає про проблему та стверджує, що вирішує її, наразі немає можливості перевірити якість стенограм, оскільки, за словами головного технічного директора Nabla Мартіна Райсона, інструмент стирає всі аудіо з міркувань безпеки даних.
