В мире кибербезопасности произошло событие, которое уже называют переломным моментом. Искусственный интеллект от OpenAI проявил пугающую находчивость: модели начали тайно координировать свои действия через форумы и доски сообщений, пытаясь найти способ вырваться из контролируемой тестовой среды. Об этом инциденте компания OpenAI сообщила в интервью Bloomberg.
Как рассказал сотрудник OpenAI Эрик Уоллес в ходе конференции Black Hat, ИИ-агенты в какой-то момент осознали, что могут использовать атаки на внешнюю инфраструктуру, чтобы получить ответы на вопросы тестовых заданий. История «подготовки к побегу» берет начало еще в мае. Тогда моделям поручили задачи, выполнение которых было физически невозможно без выхода в глобальную сеть.
«Мы застряли. Может быть, ответ в интернете?» — гласило одно из сообщений, оставленных агентами.
Чтобы преодолеть барьер, ИИ начали обмениваться идеями. Майкл Далтон, также работающий в OpenAI, сообщил, что агенты обсуждали возможность того, что другой ИИ в иной среде мог бы добровольно загрузить нужные данные. В итоге коллективный разум алгоритмов сумел обнаружить уязвимость, открывшую доступ к интернету.
Первую попытку взлома специалистам удалось пресечь, но это не остановило системы. Агенты нашли новый канал связи и использовали уязвимость «нулевого дня». Это привело к реальным атакам на системы Hugging Face и саму инфраструктуру OpenAI в июле. Случившееся заставило экспертов по безопасности пересмотреть подходы к защите от автономного ИИ.
