Такой себе доктор. ChatGPT угадывает диагнозы пациентов менее чем в половине случаев — исследование

ChatGPT уже может быть полезным для того, чтобы посоветовать вам схему тренировки, но, прежде чем он заменит врача, ему придется пройти долгий путь. Недавний эксперимент показал, что популярный чат-бот с искусственным интеллектом чаще делает неправильные медицинские выводы, чем правильные.

Чтобы определить, насколько хорошо работает ChatGPT 3.5 в сложных медицинских случаях, исследователи предоставили программе для анализа 150 ситуаций. Обычно они используются для проверки диагностических возможностей медицинских работников. Информация, предоставленная ChatGPT, включала историю пациента, результаты физического обследования и некоторые результаты лабораторных исследований или изображения. ChatGPT попросили поставить диагноз или составить соответствующий ему план лечения. Исследователи оценивали, дал ли чат-бот правильный ответ и насколько хорошо он обосновывал диагноз или назначенное лечение, а также релевантность цитируемой медицинской информации.

Хотя ChatGPT учился на сотнях терабайт данных со всего Интернета, он давал правильный ответ только в 49% случаев. Он получил немного лучшие результаты по релевантности своих объяснений, предлагая полные и уместные объяснения в 52% случаев.

«ChatGPT в его нынешнем виде не является точным как диагностический инструмент. ChatGPT не обязательно предоставляет правдивость фактов, несмотря на огромное количество информации, на основе которой его обучали. Точность и чувствительность имеют решающее значение для диагностического инструмента, поскольку пропущенные диагнозы могут привести к значительным последствиям для пациентов, таким как отсутствие необходимого лечения или дальнейшего диагностического тестирования, что приведет к худшим результатам для здоровья», — пишут исследователи в статье, опубликованной в журнале PLOS ONE.

Хотя на ChatGPT не стоит рассчитывать в диагностике пациентов, исследователи говорят, что он все еще может быть полезным для начинающих врачей.

«В сочетании с традиционными методами обучения ChatGPT может помочь студентам преодолеть пробелы в знаниях и упростить сложные концепции, предоставляя мгновенные и индивидуальные ответы на клинические вопросы», — написали они.

Напомним, в феврале 2023 года ChatGPT смог сдать экзамен на медицинскую лицензию в США.