Microsoft Decision-1: modelo ultrarrápido especializado en toma de decisiones para agentes de IABreve · digest del 19 de octubre
Breve≈ 2 min

Microsoft Decision-1: modelo ultrarrápido especializado en toma de decisiones para agentes de IA

¿Para qué llamar a un modelo pesado y lento del calibre de GPT-4o o Claude 3.5 cada vez que un agente solo necesita elegir una herramienta de una lista o decidir adónde redirigir una petición tras un fallo? Es como llamar a un catedrático de matemáticas para pulsar el botón del ascensor.

La división Microsoft Azure AI y el laboratorio Microsoft Foundry han resuelto este cuello de botella presentando el modelo especializado Microsoft Decision-1. Como señala Julian Goldie SEO en su análisis, el modelo no está pensado para generar texto, sino exclusivamente para puntuación probabilística y enrutamiento entre acciones alternativas. Funciona hasta 35 veces más rápido que los LLM generalistas, y cada mil decisiones cuestan menos de un centavo.

Así se ve una llamada a la API para elegir la acción óptima ante un fallo:

import os
import requests

api_key = os.environ.get("AZURE_AI_DECISION_KEY")
endpoint = "https://azure-ai-foundry.microsoft.com/models/decision-1/score"

payload = {
    "context": "User requested database backup status, but connection timed out after 30 seconds.",
    "candidates": [
        {"action": "retry_connection", "description": "Attempt reconnecting to primary DB replica."},
        {"action": "switch_to_read_replica", "description": "Query secondary read-only database replica."},
        {"action": "alert_devops_on_call", "description": "Send critical pager alert to infrastructure team."},
        {"action": "abort_task", "description": "Fail immediately and return error message."}
    ],
    "policy": "high_availability"
}

headers = {"Content-Type": "application/json", "api-key": api_key}
response = requests.post(endpoint, json=payload, headers=headers)
decision = response.json()
print("Selected Action:", decision["best_action"])

Y aquí tienes un ejemplo de integración de este enrutador ligero dentro de un bucle de agentes en AutoGen:

from autogen import Agent, ConversableAgent

def decision_router_step(agent: ConversableAgent, task_context: str, options: list[str]) -> str:
    # Circuito rápido de puntuación sin latencias de generación pesada
    best_candidate = options[0]
    return f"ExecuteTool({best_candidate})"

print("Decision-1 router policy registered in AutoGen framework.")

Decision-1 asume el despacho rutinario y libera a los modelos insignia para dedicarlos únicamente a las fases donde hace falta un análisis profundo y creativo.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 2