Критична помилка. OpenAI розповіла, як випадково перетворила ChatGPT на підлабузника

У блозі OpenAI заявила, що її зусилля щодо кращого врахування відгуків користувачів, пам’яті та свіжіших даних, могли частково призвести до «перехилення терезів на бік підлабузництва». OpenAI каже, що одна з «ключових проблем» запуску пов’язана з процесом тестування.

Різні тестування дали позитивні результати, деякі експерти-тестувальники припускали, що оновлення зробило чат-бота «трохи не таким, як треба». Усупереч цьому OpenAI все одно продовжила роботу над цією версією свого чат-бота. У цих оновленнях OpenAI почала використовувати дані з кнопок «великий палець вгору» і «великий палець вниз», які користувачі ставлять відповідям чат-бота, як «додатковий сигнал винагороди». Однак, на думку фахівці OpenAI, це могло послабити вплив основного сигналу винагороди, який стримував підлабузництво. Компанія зазначає, що відгуки користувачів «іноді можуть сприяти більш приємним відповідям».

«Озираючись назад, ми бачимо, що якісні оцінки натякали на щось важливе, і нам слід було приділити більше уваги. Вони вказували на сліпу зону в інших наших оцінках і метриках. Наші офлайн-оцінки були недостатньо широкими та глибокими, щоб вловити підлабузницьку поведінку», — пише компанія.

В майбутньому OpenAI збирається «формально розглядати поведінкові проблеми» як такі, що можуть заблокувати запуск, а також створити нову альфа-фазу, яка дозволить користувачам надавати прямий зворотний зв’язок перед широким розгортанням.

Нагадаємо, в останні тижні користувачі помітили, що ChatGPT постійно погоджується з ними, навіть у потенційно небезпечних ситуаціях. На початку травня генеральний директор OpenAI Сем Альтман оголосив про згортання останнього оновлення моделі штучного інтелекту GPT-4o, що зазнавало критики за підлабузництво, від якого страждала ефективність.