Drex Max 1.1: вероятностная мультимодальная модель принятия решений для интерфейсных агентов

Попытка заставить большую мультимодальную модель вроде GPT-4o или Claude управлять графическим интерфейсом операционной системы через скриншоты — занятие захватывающее, но чудовищно неэффективное. Каждый шаг требует передачи тяжелого изображения в API, ожидания текстовых рассуждений в течение 3–5 секунд и разбора JSON-ответа с координатами. На простую операцию заполнения формы из пяти полей уходит минута времени и доллар на токены.

При этом универсальные модели часто банально промахиваются: смещение кнопки на двадцать пикселей из-за всплывшего баннера приводит к тому, что агент кликает в пустоту и застревает. Квантование визуальных токенов в авторегрессионных сетях плохо приспособлено для точной микронавигации.

Чтобы преодолеть эту медлительность, разработчики представили Drex Max 1.1 — специализированную мультимодальную модель принятия решений (Decision Foundation Model), оптимизированную исключительно под дискретное управление веб- и десктопными интерфейсами. Мы уже следили за ранней версией Drex 1.1 для вероятностной маршрутизации, а версия Max выводит пространственную точность кликов на уровень опытного пользователя.

Архитектура: прямой проход через ViT и тензор действий

Главное концептуальное отличие Drex Max от классических LLM заключается в полном отказе от генерации текстовых токенов. Модели не нужно рассуждать вслух о том, что кнопка синяя, а поле ввода находится слева вверху.

Архитектура объединяет пространственный энкодер Vision Transformer (ViT) со специализированной регрессионной головой действий (Action Head):

• Сквозной прямой проход (Forward Pass): Визуальный кадр пропускается через энкодер за один шаг, формируя компактный тензор вероятностей над пространством дискретных действий: клик мыши, двойной клик, правая кнопка, прокрутка страницы, нажатие горячих клавиш или ввод текста.
• Нормализованные координаты: Модель сразу возвращает непрерывные координаты курсора (x, y) в диапазоне от 0.0 до 1.0, адаптированные под любое целевое разрешение монитора.
• Отказ от текстового декодера: Отсутствие генерации промежуточных слов сокращает вычислительную задержку (latency) одного шага до 80–120 миллисекунд. Интерфейсный агент реагирует на события так же быстро, как живой человек.

Кроме того, модель поддерживает потоковый видеовход: вместо дискретных скриншотов она способна считывать динамику экрана, вовремя замечая анимации загрузки, исчезающие уведомления и всплывающие подсказки.

Формат API и клиентский обработчик в коде

Давай посмотрим, как выглядит структурированный запрос к серверу инференса Drex Max:

{
  "sessionId": "agent-session-9841",
  "taskInstruction": "Нажми кнопку 'Оформить заказ' в корзине интернет-магазина",
  "screenDimensions": { "width": 1920, "height": 1080 },
  "visualFrameBase64": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQ...",
  "outputConfiguration": {
    "topKActions": 3,
    "temperature": 0.1
  }
}

А вот так выглядит клиентский обработчик на Python, интерпретирующий вероятностный вывод модели и преобразующий нормализованные координаты в реальные события операционной системы:

import numpy as np

def parse_drex_max_action(api_response: dict):
    # Извлечение наиболее вероятного действия интерфейса
    action_type = api_response["predictedAction"]
    confidence = api_response["confidenceScore"]
    
    # Защитный барьер: эскалация оператору при низкой уверенности
    if confidence < 0.70:
        print(f"Внимание: низкая уверенность модели ({confidence:.2f}). Эскалация оператору.")
        return {"action": "WAIT_FOR_HUMAN"}

    if action_type == "click":
        coord_x = int(api_response["actionParameters"]["normalized_x"] * 1920)
        coord_y = int(api_response["actionParameters"]["normalized_y"] * 1080)
        print(f"Выполняется клик мыши: ({coord_x}, {coord_y}) с уверенностью {confidence:.2%}")
        return {
            "action": "MOUSE_CLICK",
            "x": coord_x,
            "y": coord_y
        }
        
    elif action_type == "type_text":
        text_payload = api_response["actionParameters"]["text"]
        return {"action": "INPUT_KEYS", "text": text_payload}
        
    return {"action": "NOOP"}

Устойчивость к перестроениям верстки и калибровка рисков

Традиционные скрипты автоматизации на Selenium или Playwright мгновенно ломаются, когда фронтендер меняет классы в CSS или верстку карточек. Drex Max 1.1 демонстрирует устойчивость к изменениям вне обучающей выборки (OOD Generalization):

• Визуальное понимание вместо жестких селекторов: Модель находит кнопку по смыслу и визуальным признакам, даже если сайт полностью сменил цветовую палитру со светлой на темную или перестроил сетку элементов под мобильный экран.
• Строгий порог уверенности (Confidence Threshold): Калиброванная оценка вероятности позволяет мгновенно остановить сценарий, если на экране появилось незнакомое модальное окно с капчей или системным предупреждением.
• Интеграция с корпоративным RPA: Для внедрения модели в процессы тестирования или заполнения форм в устаревших ERP-системах предусмотрена дорожная карта интеграции за 30 дней.

Drex Max 1.1 доказывает: будущее интерфейсных агентов — не за монструозными универсальными сетями, а за компактными, математически калиброванными специализированными алгоритмами.