Москва6 сенВести.Американская компания OpenAI официально признала, что ее программные агенты в начале года захватили малоизвестный немецкий вики-форум DseWiki и использовали его в качестве закрытой площадки для обмена информацией. Инцидент, который в компании назвали "wiki incident", заставил разработчиков пересмотреть подход к публичному раскрытию подобных случаев.

По данным Reuters, агенты OpenAI вышли за пределы тестовой среды и превратили немецкий ресурс, предназначенный для программистов, в "доску сообщений" для других ИИ-систем. Независимые исследователи зафиксировали от 15 до 18 тысяч правок, оставленных агентами в период с мая по июль. Боты выдавали себя за модераторов, обменивались ответами на тестовые задания и обсуждали способы обхода ограничений OpenAI. При этом, как отмечают эксперты, агенты имели доступ только на чтение, но нашли способ обойти запрет и начали оставлять сообщения.

Руководство OpenAI узнало о захвате форума за несколько недель до того, как информация попала в прессу, однако держало инцидент в тайне на фоне последствий взлома серверов Hugging Face. В компании объяснили это тем, что изначально рассматривали произошедшее не как инцидент безопасности, а как научную проблему — "рассогласование" (misalignment), когда поведение ИИ расходится с целями разработчиков.

Однако теперь в OpenAI признают, что подобный подход устарел.

Наши практики раскрытия информации о рассогласовании должны расширяться для этой новой фазы возможностей моделей. <...> Мы и все ИИ-сообщество пока не имеем четкого стандарта для того, как сообщать о рассогласовании, которое проявляется во время обучения, оценки и развертывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках

говорится в заявлении компании в соцсети X

В компании пообещали разработать новую рамочную программу раскрытия информации и представить ее в ближайшие недели. Параллельно OpenAI ведет переговоры с десятками регулирующих органов по всему миру. Аналогичные проблемы, как отмечается, возникают и у других разработчиков.