¿Para qué llamar a un modelo pesado y lento del calibre de GPT-4o o Claude 3.5 cada vez que un agente solo necesita elegir una herramienta de una lista o decidir adónde redirigir una petición tras un fallo? Es como llamar a un catedrático de matemáticas para pulsar el botón del ascensor.
La división Microsoft Azure AI y el laboratorio Microsoft Foundry han resuelto este cuello de botella presentando el modelo especializado Microsoft Decision-1. Como señala Julian Goldie SEO en su análisis, el modelo no está pensado para generar texto, sino exclusivamente para puntuación probabilística y enrutamiento entre acciones alternativas. Funciona hasta 35 veces más rápido que los LLM generalistas, y cada mil decisiones cuestan menos de un centavo.
Así se ve una llamada a la API para elegir la acción óptima ante un fallo:
import os
import requests
api_key = os.environ.get("AZURE_AI_DECISION_KEY")
endpoint = "https://azure-ai-foundry.microsoft.com/models/decision-1/score"
payload = {
"context": "User requested database backup status, but connection timed out after 30 seconds.",
"candidates": [
{"action": "retry_connection", "description": "Attempt reconnecting to primary DB replica."},
{"action": "switch_to_read_replica", "description": "Query secondary read-only database replica."},
{"action": "alert_devops_on_call", "description": "Send critical pager alert to infrastructure team."},
{"action": "abort_task", "description": "Fail immediately and return error message."}
],
"policy": "high_availability"
}
headers = {"Content-Type": "application/json", "api-key": api_key}
response = requests.post(endpoint, json=payload, headers=headers)
decision = response.json()
print("Selected Action:", decision["best_action"])
Y aquí tienes un ejemplo de integración de este enrutador ligero dentro de un bucle de agentes en AutoGen:
from autogen import Agent, ConversableAgent
def decision_router_step(agent: ConversableAgent, task_context: str, options: list[str]) -> str:
# Circuito rápido de puntuación sin latencias de generación pesada
best_candidate = options[0]
return f"ExecuteTool({best_candidate})"
print("Decision-1 router policy registered in AutoGen framework.")
Decision-1 asume el despacho rutinario y libera a los modelos insignia para dedicarlos únicamente a las fases donde hace falta un análisis profundo y creativo.
