Москва8 апрВести.Использование агентов искусственного интеллекта, имеющих доступ ко внутренним компьютерным системам, сопряжено со множеством рисков. Не исключена вероятность, что киберпреступники могут "отравить" ИИ и заставить его работать на себя. Об этом в статье для РБК рассказал директор по клиентским решениям в компании Curator Эдгар Микаелян.

При этом хакерам, чтобы сделать из интеллектуального агента троянского коня, не нужно прибегать к вредоносным программам или фишингу. Для этого злоумышленникам достаточно совершить промпт-инъекцию — то есть вставить вредоносную инструкцию в запрос пользователя к ИИ-агенту.

По словам Микаеляна, существует и более опасный сценарий: вредоносная инструкция может быть вставлена через данные, с которыми работает внутренний ИИ-инструмент (веб-страницы, документы, письма или ответы API).

Риск усиливает то, что ИИ-агенты работают автономно и имеют доступ к корпоративным системам

говорится в публикации

ИИ-агенты чаще всего применяются в техподдержке, аналитике и работе с данными, а также в клиентском сервисе и финансовых сценариях.

До четверти компаний, опрошенных McKinsey & Company, уже масштабируют использование ИИ-агентов, а 39% экспериментируют с ними.