Google AQuA: auditor de IA gratuito y abierto para detectar alucinaciones ocultas en diálogos de agentesNota · digest del 9 de noviembre
Bodegón surrealista irónico con la lupa del auditor AQuA revelando una alucinación oculta tras una fachada amable.
Nota3 secciones≈ 5 min

Google AQuA: auditor de IA gratuito y abierto para detectar alucinaciones ocultas en diálogos de agentes

En el control de calidad de chatbots de atención al cliente, al principio casi todo el mundo se engaña, tanto desarrolladores como dueños de tiendas. Pones el consultor neuronal en la web y miras los indicadores: el servidor está estable, las respuestas salen al instante y a soporte no llega ni una queja. Parece que la automatización salió bien a la primera. Yo mismo me he sorprendido sintiendo esa calma hasta que abría los registros sin filtrar de las conversaciones.

Ahí sale a la luz una verdad incómoda: los compradores casi nunca discuten con el robot; cierran la pestaña en silencio. ¿Cómo detectar esos errores silenciosos en los diálogos de asistentes de IA cuando los paneles brillan en verde pero los clientes se van sin decir palabra? Para sacar ese punto ciego a la luz sin leer chats a mano, los ingenieros de Google publicaron en el repositorio Google ADK Recipes el auditor gratuito AQuA (Ambient Quality Agent).

La ilusión de los paneles verdes: por qué los clientes se van sin quejarse ante alucinaciones educadas

Si un programa tradicional falla, lanza un error y la monitorización da la alarma. Con los modelos de lenguaje se dispara otra cadena: si el bot no sabe la respuesta exacta o se lía con las reglas, no se cuelga, sino que inventa con toda educación algo verosímil. En ingeniería esto se llama fallo silencioso (Silent Failure): técnicamente el diálogo transcurrió con normalidad, pero el cliente recibió un engaño.

En una tienda online esta trampa golpea los ingresos. Supongamos que el bot ayuda durante una promoción y el cliente pregunta si el código promocional sirve para una cafetera. En lugar de consultar la lista de exclusiones, el asistente promete un descuento en un producto fuera de campaña. El comprador mete la cafetera en el carrito, introduce el código al pagar, ve el mismo precio y se marcha en silencio a la competencia. Los paneles están en verde y la tienda pierde el pedido. Ya escribimos sobre cómo un envoltorio estricto frena esta improvisación en el análisis de un pipeline determinista para agentes.

El mecanismo de Google AQuA: cómo el agente auditor revisa registros de diálogos ajenos

Como los gráficos de disponibilidad no detectan defectos de sentido, los creadores sacaron AQuA al circuito externo (Outer Loop). Si integras un censor dentro del chat en vivo, el comprador tendría que esperar el doble por cada respuesta. Por eso el auditor trabaja de forma asíncrona en segundo plano analizando archivos de conversaciones ya cerradas. Ya tocamos la idea de esta supervisión en el repaso del agente observador en segundo plano Google AQuA, y el análisis del canal Julian Goldie SEO detalla su ciclo de cinco pasos:

  1. Muestreo: en cada pasada, el agente toma al azar de la base hasta 1000 diálogos recientes.
  2. Auditoría: un modelo juez evalúa el chat según una lista de verificación de 9 errores frecuentes y tus reglas en lenguaje natural.
  3. Agrupación: los fallos del mismo tipo se agrupan en clústeres, convirtiendo una montaña de registros en unos pocos problemas claros.
  4. Verificación: una segunda IA independiente vuelve a leer los chats y descarta las falsas alarmas del primer juez.
  5. Vinculación a la instrucción: el fallo recibe una etiqueta (nuevo, recurrente o resuelto) y AQuA señala la línea exacta del prompt del sistema que provocó la alucinación.

En el ejemplo de la tienda, el auditor agrupará las promesas de descuentos inexistentes, las verificará con el segundo juez e iluminará al culpable en la instrucción: una frase vaga como «En la medida de lo posible, comprueba las condiciones de los códigos promocionales».

Configuración paso a paso del bucle de calidad: de cazar el error a corregir el prompt del sistema

Para una persona, palabras amables como «procura» o «en la medida de lo posible» suenan a indicación, pero para una red neuronal significan que la regla es opcional. En las pruebas de Google sobre un bot conserje, de 32 diálogos solo 5 pasaron sin fallos: el auditor detectó 9 clústeres de errores (el segundo juez descartó 3 y dejó 6 problemas), y en 15 conversaciones el agente olvidaba ofrecer la elección de asiento. Sustituir sugerencias suaves en dos líneas del prompt por órdenes firmes como «siempre», «nunca» y «debe» sin cambiar de modelo redujo las omisiones de asiento a 2, la pérdida de peticiones dietéticas de 7 a 0 y subió los diálogos limpios a 13. En el caso de la cafetera, cambiar «en la medida de lo posible, comprueba» por «Nunca prometas un descuento sin cotejar antes la tabla de promociones» cierra al instante la puerta a las invenciones.

El auditor automático tiene su precio: de serie AQuA solo funciona con agentes sobre Google Agent Development Kit en Google Cloud, la doble revisión consume tokens de dos modelos y el muestreo aleatorio puede pasar por alto un bug poco frecuente. A cambio, puedes probar la solución gratis en tu portátil en modo demo (en el conjunto de prueba detecta 16 errores con un 69% de verificaciones exitosas), y para cualquier widget web resulta sencillo exportar 100 conversaciones una vez por semana y pasarlas por dos ventanas de red neuronal siguiendo los mismos cinco pasos.

No te agobies si la primera auditoría muestra que el bot adorna la verdad ante los clientes, y no intentes reescribir toda la instrucción en una noche. Los fallos en la frontera entre el habla natural y los algoritmos son rutina diaria incluso en Google. Abre el prompt del asistente, busca un par de expresiones suaves como «es recomendable» y cámbialas por prohibiciones tajantes: una sola línea corregida salvará pedidos mañana.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 2