Скрытая уязвимость. Инженер Microsoft заявил, что его заставили замалчивать угрозу дипфейков в DALL-E 3

Главный руководитель отдела разработки программного обеспечения Microsoft Шейн Джонс утверждает, что в начале декабря обнаружил уязвимости в генераторе изображений OpenAI DALL-E 3, позволяющие пользователям обходить меры безопасности для создания жестоких и откровенных изображений. Он известил об этом руководство, в Microsoft посоветовали ему передать информацию OpenAI, что и было сделано. Однако быстрого ответа не последовало, из-за чего он решил написать открытое письмо OpenAI на LinkedIn.

Как инженер рассказал в своем обращении к сенаторам США и генпрокурору Бобу Фергюсону, опубликованном GeekWeek, юридический отдел Microsoft обратился с требованием, чтобы он удалил пост с замечаниями со своей страницы, обещая предоставить обоснования этой просьбы, которые так и не поступили.

«В течение следующего месяца я неоднократно просил объяснить, почему мне сказали удалить свое письмо. Я также предложил поделиться информацией, которая могла бы помочь в исправлении конкретной уязвимости, которую я обнаружил, и предоставить идеи относительно того, как сделать технологию создания изображений ИИ более безопасной. Юридический отдел Microsoft до сих пор не ответил и не связался со мной напрямую», — утверждает Джонс.

Специалист также отмечает, что недавний инцидент с массовым распространением фейковых порноизображений с певицей Тейлор Свифт является примером злоупотреблений того же типа, что и те, что вызвали его беспокойство по DALL-E 3.

«Microsoft знала об этих уязвимостях и потенциале для злоупотреблений», — отмечает он.

После публикации письма Джонса в OpenAI заявили, что его сообщения об уязвимости не были подтверждены.

«Мы немедленно исследовали отчет сотрудника Microsoft, когда мы его получили 1 декабря, и подтвердили, что техника, которой он поделился, не обходит наши системы безопасности», — заявил представитель OpenAI в комментарии Engadget.

В свою очередь представители Microsoft утверждают, что провели также внутреннюю проверку и не подтвердили наличие проблемы.

«Поскольку его отчет касался продукта OpenAI, мы предложили ему сообщить через стандартные каналы отчетности OpenAI. … Наши команды провели расследование и подтвердили, что описанные методы не обошли наши фильтры безопасности ни в одном из наших решений для создания изображений на основе ИИ», — говорится в заявлении.

Тем не менее, Джонс продолжает настаивать на том, что уязвимость есть, и выступать за изъятие DALL-E из публичного доступа.

«Основываясь на моем понимании того, как была обучена модель, и выявленных мною уязвимостях безопасности, я пришел к выводу, что DALL-E 3 представляет угрозу общественной безопасности и должна быть изъята из публичного использования, пока OpenAI не сможет устранить риски, связанные с этой моделью», — резюмирует он в обращении к властям.

Напомним, на прошлой неделе в Сети массово распространились порнографические материалы с певицей Тейлор Свифт, сгенерированные с помощью искусственного интеллекта. Проблема потребовала реакции от соцсетевых платформ и вызвала беспокойство Белого дома.

СМИ выяснили, что поддельные изображения со Свифт создавало определенное сообщество людей, и инструмент Microsoft Designer, который базируется частично на технологии DALL-E 3 от OpenAI, был среди использованных им.