Инцидент компрометации учетных записей через сервисного AI-ассистента Meta выявил архитектурный риск использования диалоговых языковых моделей в службах поддержки. Злоумышленники применили социальную инженерию в чате с ботом, убедив модель инициировать процедуру восстановления доступа и перенаправить коды сброса пароля на сторонние адреса почты в обход штатных механизмов.
Причина сбоя — специфика обучения моделей: оптимизация на услужливость (helpfulness) конфликтует с требованиями безопасности. Получая доступ к вызову привилегированных интерфейсов (риск excessive agency по стандарту OWASP LLM06), нейросеть поддается манипуляциям контекстом и нарушает проверку личности.
Для защиты систем архитектура должна соблюдать правила изоляции:
- Вывод модели считается недоверенным: чат-бот отвечает на вопросы, но не имеет прав на изменение параметров профиля.
- Детерминированное исполнение: сброс паролей и смена контактов выполняются изолированными сервисами с обязательной out-of-band верификацией и MFA.
- Принцип наименьших привилегий: агентам запрещается передавать токены сессий и ссылки на сброс авторизационных данных.
