ИИ с человеческим интеллектом может разрушить мир. Исследователи из Google описали, как

Команда DeepMind во главе с соучредителем компании Шейном Леггом классифицировала негативные последствия AGI. Исследователи выделили четыре угрозы: неправильное использование, несоответствие, ошибки и структурные риски, пишет Ars Technica.

Неправильное использование похоже на текущие риски, связанные с ИИ. С помощью AGI можно злоупотреблять системой, чтобы нанести вред. Например, можно попросить обнаружить и использовать уязвимости нулевого дня или создать дизайнерский вирус, который можно использовать как биологическое оружие. В DeepMind говорят, что компаниям, которые разрабатывают AGI, придется провести всестороннее тестирование и создать надежные протоколы безопасности после обучения, чтобы избежать этого.

Вторая угроза — несоответствие. Этот тип вреда AGI описывается как мошенническая машина, которая избавилась от ограничений, наложенных ее разработчиками. Такой ИИ выполняет действия, которые (что ему хорошо известно) не имели в виду разработчики. В DeepMind утверждают, что речь идет о чем-то большем, чем простой обман или интрига. Чтобы избежать этого, DeepMind предлагает разработчикам использовать такие методы, как усиленный надзор. К примеру, две копии искусственного интеллекта могут проверить исходные данные друг друга, чтобы создать надежные системы, которые вряд ли будут мошенничать.

Ошибки — еще одна угроза. Речь идет о вредных результатах на которые не нацеливался оператор. В DeepMind отмечают, что военные могут развернуть AGI из-за давления конкуренции, но такие системы могут допустить серьезные ошибки, которые будут иметь фатальные последствия. Исследователи не предлагают пути решения этой проблемы, кроме как не позволить AGI стать слишком мощным.

Также исследователи говорят о структурных рисках, которые в DeepMind определяют как непреднамеренные, но реальные последствия многоагентных систем. Например, AGI может создавать ложную информацию, которая настолько правдоподобна, что трудно разобраться, можно ли этому доверять.

DeepMind представляет этот отчет о рисках AGI как отправную точку для жизненно важных дискуссий о проблемах искусственного интеллекта будущего.