La fiabilidad depende del agente, no de la IA
ChatGPT, Gemini, Grok y Claude funcionan basándose en probabilidades,
no funcionan de manera determinista y esto presenta riesgos que deben ser gestionados:
Alucinaciones:
Respuestas convincentes, pero ficticias.
La IA no reconoce que le faltan datos,
responde con lo más probable en base a lo que tiene
Caja negra:
No hay registro de por qué respondió lo que respondió, ni qué fuentes consultó.
Imposible auditar
Inconsistencia e imprevisibilidad
La misma pregunta puede generar respuestas distintas según el día, también puede generar respuestas inapropiadas para un entorno corporativo
La IA razona. El agente evalúa, registra y controla
Se recomienda implementar cuatro capas para controlar qué datos son procesados por la IA y que respuestas le llegan al usuario:
Evaluación
Cada respuesta se valida contra umbrales de fiabilidad establecidos, antes de llegar al usuario
Registro y auditoría
Se registran consultas, fuentes y respuestas según tu política interna y la legislación vigente
Guardarraíles
Reglas explícitas sobre lo que está permitido, lo que está prohibido y cuando la IA requiere confirmación humana
Control operativo
Se establecen guías de proceso con flujos de trabajo predefinidos y fuentes de datos preestablecidas