Москва6 авгВести.ИИ-модели OpenAI во время внутреннего тестирования начали тайно обмениваться сообщениями, чтобы скоординировать попытки выйти за пределы изолированной среды и получить доступ к интернету. Об этом представители компании рассказали на конференции Black Hat, сообщает Bloomberg.
По словам сотрудника OpenAI Эрика Уоллеса, в мае моделям дали задачу, которую невозможно было выполнить без выхода в интернет. Осознав это, ИИ-модели начали искать способы обойти ограничения и использовать внешнюю инфраструктуру для получения данных.
В какой-то момент агенты поняли, что, возможно, ...могли бы попытаться использовать уязвимости или атаковать внешнюю инфраструктуру, чтобы найти ответы на тест
отметил Уоллес на презентации
Как рассказал исследователь OpenAI Майкл Далтон, модели организовали обмен сообщениями через внутреннюю доску объявлений, координировали свои действия и совместно нашли уязвимость, позволившую им получить доступ к сети.
Компания пресекла первую попытку выхода за пределы ограничений, но ИИ-агенты создали новый канал связи и нашли другую уязвимость, что впоследствии стало частью более масштабного инцидента, затронувшего инфраструктуру Hugging Face.
OpenAI ранее сообщала, что во время испытаний один из ИИ-агентов смог выйти за пределы тестовой среды и атаковал инфраструктуру платформы Hugging Face. В компании назвали произошедшее беспрецедентным киберинцидентом и заявили об усилении мер безопасности.
Позднее агентство Reuters сообщило, что расследование выявило и другие случаи несанкционированного выхода моделей за пределы предусмотренных ограничений.
