Как это устроено внутри Anthropic: опыт использования Claude-агентов продакт-менеджерами
Внедрение искусственного интеллекта в повседневную деятельность технологических компаний выходит на новый уровень. Опыт Anthropic, описанный руководителем продуктового направления Claude Managed Agents Джесс Ян, показывает, как меняется роль продакт-менеджера (PM) при переходе от ручного взаимодействия с моделями к использованию долгоживущих автономных агентов. Вместо написания разовых промптов сотрудники компании развертывают специализированных агентов, способных выполнять сложные многошаговые задачи в фоновом режиме (например, в течение всей ночи), пока человек спит. Это позволяет значительно оптимизировать рабочие процессы и освободить время сотрудников для стратегического планирования.
Рабочие процессы продакт-менеджеров Anthropic
Автономные агенты на базе Claude интегрированы в несколько ключевых направлений работы продуктовых команд:
- Анализ кодовой базы и технических изменений: Продакт-менеджеры могут использовать агентов для самостоятельного изучения структуры кода продукта, анализа пул-реквестов (PR) и истории деплоев. Это позволяет быстро понимать технические взаимосвязи и оценивать влияние изменений на пользовательский опыт без необходимости постоянно отвлекать команду разработчиков. Агент может выявить потенциальные конфликты слияния или предупредить о непредвиденных последствиях изменения логики интерфейса.
- Мониторинг обратной связи в Slack: Агенты круглосуточно сканируют каналы взаимодействия с клиентами, собирают отзывы, категоризируют запросы на новые функции и выявляют повторяющиеся проблемы. На основе этих данных они готовят структурированные аналитические отчеты, помогающие приоритизировать бэклог. Агент группирует фидбек в семантические кластеры и автоматически сопоставляет его с текущими задачами в продуктовой дорожной карте (roadmap).
- Обработка и квалификация списков ожидания (Waitlist): Примером масштабной автоматизации является разбор базы заявок, состоящей из более чем 4000 компаний. Автономный агент самостоятельно анализирует профиль каждой компании, используя открытые источники (сайты компаний, профили в соцсетях), оценивает потенциальный масштаб использования продукта и рассчитывает балл приоритетности. На основе этого скоринга он распределяет заявки по приоритетным группам для отдела продаж.
Инфраструктура надежности: Traces и Evals
Для того чтобы долгоживущие агенты работали предсказуемо, Anthropic использует внутреннюю инфраструктуру отладки и оценки качества:
- Трассировка (Traces): Позволяет детально визуализировать каждый шаг, который делает агент в процессе выполнения задачи. Если агент застревает в бесконечном цикле или совершает ошибочное действие, разработчики видят конкретную точку сбоя в логах трассировки и могут скорректировать инструкции. Логи трассировки фиксируют состояние памяти агента, вызванные инструменты и полученные ответы от внешних API.
- Автоматические оценки (Evals): Представляют собой наборы тестов и критериев, по которым проверяется качество работы агента перед его обновлением. Агенты сами оценивают результаты выполнения задач на тестовых датасетах по заданным правилам, что гарантирует защиту от регрессии (ухудшения качества работы в новых версиях). Например, при обновлении системного промпта автоматически запускается серия из сотен тестов, проверяющая, не стал ли агент чаще ошибаться в классификации лидов. При этом автоматические тесты дополняют, но не заменяют человеческий контроль ключевых показателей успеха.
Стратегия безопасного внедрения ИИ-агентов
Джесс Ян рекомендует компаниям начинать автоматизацию с малого: помогать конкретному человеку решать одну понятную рутинную задачу, а не пытаться сразу автоматизировать деятельность всего отдела. При проектировании первого агента важно четко определить границы его работы:
- Задать список разрешенных инструментов (Allowed Tools);
- Зафиксировать запрещенные действия (Forbidden Actions);
- Описать точный формат выходных данных;
- Установить лимиты на время работы и условия остановки;
- Сформировать критерии оценки успешности.
В целях безопасности при работе с конфиденциальными данными или исходным кодом необходимо внедрять строгие политики разграничения прав доступа. Перед тем как предоставить агенту доступ к полному объему живых данных, Anthropic практикует запуск «канареечных» версий (canaries). В рамках этого подхода агент сначала запускается параллельно с человеком на небольшой доле трафика (например, 10%), а результаты его работы сравниваются с человеческими решениями для выявления скрытых аномалий. Все действия агента пишутся в защищенные аудиторские логи, исключающие возможность несанкционированного изменения кода.
Практическая инструкция по развертыванию ИИ-агента в компании
Для создания стабильного рабочего процесса на основе автономных агентов рекомендуется следовать следующей методологии.
Подготовка к запуску агента
Перед написанием кода или настройкой интеграций выполните предварительные шаги:
- Выделите узкую рутинную задачу с повторяющимися входными данными и понятным результатом (например, еженедельная классификация багов).
- Получите API-доступ к платформе Claude и настройте изолированную среду разработки.
- Сформируйте локальный набор данных: соберите 20–30 исторических примеров выполнения этой задачи вручную, которые будут использоваться для тестирования.
- Разработайте политику безопасности: определите, к каким внутренним системам агенту нужен доступ, и создайте для него учетную запись с минимально необходимыми правами (принцип наименьших привилегий).
Пошаговый процесс разработки и тестирования
- Напишите базовые системные инструкции для агента, детально описав его роль, правила обработки данных и формат вывода.
- Подключите необходимые инструменты (например, функции чтения локальных файлов или выполнения API-запросов к баг-трекеру).
- Запустите агента на подготовленном историческом наборе данных в фоновом режиме.
- Проанализируйте логи трассировки (Traces): найдите шаги, на которых агент совершал лишние действия, делал паузы или выдавал ошибки.
- Сформулируйте на основе выявленных ошибок правила оценки (Evals) и добавьте их в тестовый сценарий.
- Скорректируйте системный промпт для устранения сбоев и повторите запуск тестов до достижения стабильного результата (например, точность классификации выше 90%).
- Внедрение точки контроля: настройте систему так, чтобы перед совершением критических действий (отправка письма клиенту, изменение статуса в продакшн-базе) агент требовал обязательного подтверждения от человека-куратора. Переводите процесс на полный автопилот только после длительного периода бездефектной работы. Это гарантирует безопасность бизнеса и предсказуемость результатов автоматизации.