В сфере управления компьютерными интерфейсами (computer use) фактором надежности становится переход к циклу верификации «See, Act & Check». Базовые мультимодальные агенты часто допускают слепые ошибки: отправляя клик по координатам, модель не проверяет системный отклик и продолжает цепочку действий на зависшем или некорректном экране.
Трехфазная архитектура устраняет этот сбой:
- Анализ (See): агент считывает снимок экрана и распознает интерактивные элементы.
- Действие (Act): отправка низкоуровневого события мыши или клавиатуры.
- Проверка (Check): захват нового кадра и подтверждение ожидаемого изменения — появления модального окна, смены URL или обновления формы.
Такой подход лежит в основе линейки моделей NEX N2.5, ориентированной на управление десктопными средами. Однако эксперты напоминают о рисках: успешные тесты в синтетическом бенчмарке OSWorld 2 нельзя переносить на рабочие станции без изоляции. Управление интерфейсом должно работать в изолированной песочнице, а необратимые действия — отправка сообщений, платежи или удаление данных — требуют подтверждения оператора.