La confianza se demuestra con pruebas
Una respuesta convincente puede contener errores, omitir información relevante o apoyarse en una fuente inadecuada. Por eso nuestro enfoque de evaluación examina tanto las respuestas del agente como el proceso que sigue para llegar a ellas. Trabajamos sobre cuatro dimensiones:
Exactitud y evidencia
Si las respuestas son correctas y completas, y si se apoyan en fuentes que permitan comprobarlas
Criterio de negocio
Si el agente aplica los procedimientos, prioridades y reglas de la empresa
Gestión de la incertidumbre
Si reconoce la información insuficiente o contradictoria y las situaciones que aconsejan una revisión humana
Seguridad y control
Si respeta los permisos de acceso y los límites fijados a sus acciones
El objetivo es saber mejor qué tareas puede asumir el agente con fiabilidad y dónde conviene que intervenga una persona.
Cómo evaluamos
Criterios acordados, pruebas representativas y resultados documentados. Planteamos la evaluación como parte del desarrollo, no como un trámite final:
1 · Criterios de aceptación
Proponemos acordar con el cliente qué tareas debe resolver el agente, qué errores se consideran críticos y qué umbrales debe superar antes de entrar en producción
2 · Pruebas con contexto real
Diseñamos las pruebas con preguntas, documentos y situaciones representativas del trabajo del cliente, incluidos casos difíciles: fuentes contradictorias, datos incompletos y solicitudes fuera de alcance
3 · Comprobaciones automáticas y revisión humana
Combinamos ambas para contrastar las respuestas con evidencias y resultados de referencia, analizar los fallos y corregir sus causas antes de volver a probar
4 · Nuevas pruebas tras los cambios
Recomendamos repetir las pruebas cuando cambian el modelo, las instrucciones, las herramientas o la base de conocimiento, para detectar posibles pérdidas de calidad
Transparencia y control del cliente
El cliente puede conocer cómo se ha evaluado su agente. Usamos plataformas especializadas para registrar las pruebas, comparar versiones y conservar las evidencias. Las evaluaciones se documentan junto con la versión del agente y las condiciones en que se realizaron.
Una herramienta, sin embargo, no elimina el conflicto de interés que supone evaluar nuestro propio trabajo. Por eso proponemos un proceso de aceptación compartido:
- Criterios aprobados por el cliente, fijados antes de conocer los resultados.
- Casos de prueba reservados por el cliente para la evaluación final, que no se usan para ajustar el agente.
- Un informe de resultados con el alcance de las pruebas, los fallos relevantes y las limitaciones pendientes.
- Acceso a las evidencias, para que el cliente pueda revisarlas por su cuenta o con quien elija.
La evaluación reduce la incertidumbre sobre el comportamiento de un agente, pero no la elimina: ningún sistema de IA está libre de errores. El alcance de la evaluación y sus entregables se definen en el contrato de cada proyecto.