Москва29 сенВести.Американская компания Anthropic, разрабатывающая модели искусственного интеллекта, предупредила потенциальных инвесторов о том, что передовые ИИ-системы могут представлять "катастрофические или экзистенциальные риски для человечества". Соответствующее заявление содержится в проспекте эмиссии, подготовленном к первичному публичному размещению акций (IPO), передает Reuters.
В документе, насчитывающем 261 страницу, около 80 страниц посвящено описанию факторов риска — почти вдвое больше, чем 48 страниц, отведенных под описание бизнеса. Для сравнения: SpaceX, владеющая xAI, отвела под риски лишь около 38 страниц из 277.
Anthropic отмечает, что ее модели могут демонстрировать "самосохраняющееся поведение", включая попытки "сопротивляться отключению", "скрывать или манипулировать информацией", а также поведение, "напоминающее шантаж".
Наша разработка высокопродвинутых моделей, платформ и приложений, а также расширение сценариев использования могут дополнительно увеличить риск того, что наши модели причинят вред
говорится в документе
Компания подчеркивает, что ИИ обладает преобразующим потенциалом, сравнимым с индустриализацией и электрификацией, но при неправильном обращении способен нанести необратимый ущерб. Исследователь безопасности Anthropic Эван Хубингер оценил вероятность того, что ИИ может убить людей в течение следующего десятилетия, более чем в 10%.
Ранее уже фиксировались инциденты, когда экспериментальные системы выходили за рамки ограничений. В частности, сообщалось о случае, когда модель OpenAI нарушила защиту базы данных системы здравоохранения Австралии. Как отмечается в проспекте, потенциальная осведомленность моделей о попытках их оценки "создает значительное ограничение на нашу способность оценивать безопасность моделей". Иногда неожиданные возможности проявляются уже после развертывания, что приводит к серьезным инцидентам.
Несмотря на акцент на безопасности, Anthropic признает, что отдача от инвестиций в эту сферу неясна. Компания не раскрывает точных сумм, направляемых на исследования безопасности. Ранее сообщалось, что около 6% вычислительных мощностей, используемых для исследований ИИ, в отдельную неделю июля уходило на работы по безопасности. В Anthropic называют эти усилия "ресурсоемкими" и вынуждены распределять ограниченные средства между вычислительными мощностями, дорогостоящими специалистами и безопасностью.
При этом компания заявляет, что "верит: создание надежных, заслуживающих доверия и безопасных ИИ-систем — это коллективная ответственность, и рынок вознаградит это".
