Cómo evaluar una herramienta de IA antes de decir que sí

Una evaluación útil empieza describiendo la tarea concreta. «Queremos usar IA» no permite valorar nada; «queremos generar un primer borrador de respuestas comerciales a partir de un catálogo público» sí permite definir datos, usuarios, calidad y supervisión.

• Problema que se quiere resolver y resultado esperado.
• Usuarios, departamentos y volumen previsto.
• Decisiones o acciones que puede influir la salida.
• Personas o colectivos que pueden verse afectados.
• Alternativas ya aprobadas y motivo por el que no bastan.
• Criterio medible de éxito y criterio de abandono.

Hay que seguir el dato desde su origen hasta su eliminación. No solo cuenta el texto que se pega en un chat: también los archivos adjuntos, metadatos, historiales, memoria, registros, conectores, bases de conocimiento y las propias salidas.

• Categorías de datos personales y existencia de datos sensibles.
• Información confidencial, secreto empresarial o propiedad de terceros.
• Origen, exactitud y autorización para utilizar cada conjunto de datos.
• Finalidad y base jurídica cuando exista tratamiento de datos personales.
• Retención, borrado, memoria, entrenamiento y posibilidad de exclusión.
• Ubicación, transferencias internacionales y acceso de subencargados.
• Qué información puede aparecer en la salida y quién podrá verla.

La versión gratuita, el plan individual y el contrato empresarial de un mismo producto pueden ofrecer garantías distintas. La evaluación debe referirse al plan y configuración que se pretende aprobar, no a la marca en abstracto.

• Identidad del proveedor, solvencia y canal de soporte.
• Condiciones de uso, acuerdo de tratamiento y reparto de responsabilidades.
• Subproveedores, modelos de terceros e infraestructura utilizada.
• Derechos sobre entradas, salidas, feedback y contenido generado.
• Aviso de cambios en funciones, términos, modelos o ubicación del servicio.
• Exportación, portabilidad, eliminación y reversibilidad al terminar.
• Límites de responsabilidad y obligaciones de indemnidad relevantes.

El riesgo cambia cuando la IA deja de responder preguntas y puede leer correo, consultar documentos, escribir en una base de datos o ejecutar acciones. Los permisos deben corresponder al mínimo necesario para el caso aprobado.

• Inicio de sesión corporativo, MFA, roles y baja de usuarios.
• Cifrado, registros, monitorización y respuesta ante incidentes.
• Permisos de cada conector y separación entre entornos.
• Protecciones frente a prompt injection y contenido externo no fiable.
• Validación de salidas antes de enviarlas a otros sistemas.
• Límites de autonomía, gasto, frecuencia y acciones irreversibles.
• Evidencias o certificaciones pertinentes, sin tratarlas como garantía absoluta.

La empresa debe identificar su papel y el del proveedor, determinar si el caso entra en una práctica prohibida o en un supuesto de alto riesgo y comprobar si existen obligaciones de transparencia u otras exigencias aplicables.

La clasificación no debe basarse solo en la descripción comercial. Importan la finalidad prevista, la forma real de uso, el entorno y las personas afectadas. Además, el AI Act convive con RGPD, propiedad intelectual, consumo, igualdad, normativa laboral y reglas sectoriales.

• Finalidad prevista y uso real documentados.
• Papel como proveedor, responsable del despliegue, importador o distribuidor.
• Revisión de prácticas prohibidas y supuestos de alto riesgo.
• Obligaciones de transparencia hacia usuarios o personas afectadas.
• Capacidad de supervisión humana y de cumplir instrucciones de uso.
• Impacto en derechos, grupos vulnerables y decisiones relevantes.
• Requisitos adicionales del sector y de otras normas aplicables.

Antes de desplegar, conviene probar la herramienta con un conjunto representativo y autorizado. La prueba no debe buscar solo ejemplos que salen bien: tiene que explorar límites, casos adversos y comportamiento cuando faltan datos.

1. 01

   Define tareas, usuarios y métricas antes de iniciar la prueba.

2. 02

   Utiliza datos sintéticos, anonimizados o específicamente autorizados.

3. 03

   Mide exactitud, consistencia, sesgo, trazabilidad, seguridad y tiempo ahorrado.

4. 04

   Prueba instrucciones maliciosas, archivos inesperados y situaciones límite.

5. 05

   Comprueba si una persona puede detectar, corregir y detener el resultado.

6. 06

   Documenta fallos, condiciones y cambios de configuración.

La decisión final debe estar vinculada al caso evaluado. Aprobar una herramienta para un uso no la aprueba para todos. Conviene registrar quién decide, con qué evidencia, qué condiciones se imponen y cuándo se revisará.

• Aprobar para el alcance solicitado.
• Aprobar con condiciones: datos limitados, usuarios concretos, revisión reforzada o piloto temporal.
• Solicitar información o controles adicionales.
• Rechazar por riesgo, falta de información o ausencia de necesidad proporcionada.