IA que opera procesos críticos 24/7: qué tan confiable es dejarla sin supervisión

La pregunta ‘¿qué tan confiable es una IA operando procesos críticos 24/7?’ suele responderse con tres letras confusas: SLA, RTO, RPO. La respuesta útil pide otras preguntas: qué decisiones estás delegando, qué pasa si se equivoca, y cómo te enteras a tiempo.

Los cuatro niveles de autonomía que la industria ya estandarizó

El NIST AI Risk Management Framework define un espectro de cuatro niveles que aplican a cualquier sistema automático, no solo a IA. Entenderlos es el primer paso para decidir qué le delegas.

1. Human-in-the-loop: la IA ejecuta, un humano aprueba cada acción antes de que tenga efecto. Sirve para decisiones sensibles o reversibles con costo alto si fallan.
2. Human-on-the-loop: la IA ejecuta de forma autónoma pero un humano supervisa métricas y puede intervenir o cancelar en cualquier momento. El caso más común en producción.
3. Human-in-command: la IA propone, el humano decide si se ejecuta. Útil cuando las consecuencias son visibles solo después de horas o días.
4. Fully autonomous: la IA opera sin intervención humana directa, con métricas y auditorías automáticas. Solo viable cuando los sistemas están aislados o los errores son rápidamente reversibles.

Por qué ‘autónoma’ no significa ‘sin riesgo’

Un agente autónomo puede equivocarse más rápido que un humano, en más dimensiones, y dejar de funcionar silenciosamente sin que nadie lo detecte hasta que el impacto ya está hecho.

El patrón operativo correcto incluye: monitoreo activo de deriva del modelo (drift detection), métricas de negocio en tiempo real, alertas automáticas cuando se sale de rango, y capacidad humana de pausar el agente en minutos.

Las preguntas de auditoría que deberías poder responder

Antes de poner un agente en producción de procesos críticos, el equipo técnico debe tener respuesta escrita a estas cinco preguntas.

1. ¿Qué pasa cuando el modelo se equivoca? ¿Quién lo detecta y en cuánto tiempo?
2. ¿Qué pasa si el proveedor de modelo cae? ¿Hay fallback a un proceso manual?
3. ¿Qué pasa si los datos de entrada se corrompen? ¿Se detiene el agente automáticamente?
4. ¿Quién audita las decisiones del agente? ¿Con qué frecuencia?
5. ¿Cómo se explica una decisión del agente si el regulador o el cliente la pide?

Si alguna de estas no tiene respuesta concreta, el agente no debería estar en producción autónoma todavía.

El error más caro que se repite

Confundir ‘autonomía operativa’ con ‘autonomía de decisión’. Un agente puede operar 24/7 ejecutando tareas perfectamente, y aún así equivocarse en las decisiones si nadie las supervisa.

El diseño correcto de un agente crítico es: ejecución autónoma de tareas bien definidas, decisión autónoma solo para casos con bajo costo de error, escalado humano obligatorio para casos con costo de error alto.

Qué métricas mirar en producción

Cuatro métricas separan un agente confiable de uno que parece confiable: 1) tasa de acciones revertidas por humanos (qué porcentaje de las acciones del agente fueron corregidas después), 2) tiempo medio de detección de fallos (cuánto tarda alguien en enterarse de que algo anda mal), 3) deriva del modelo en producción (diferencia entre predicciones en entrenamiento y en uso real), 4) uptime operativo del agente (vs uptime del servicio de negocio que soporta).

Marco regulatorio aplicable en México

La LFPDPPP aplica si el agente procesa datos personales en infraestructura fuera del país. Sectores regulados (finanzas, salud, energía) tienen requisitos adicionales de auditoría y trazabilidad.

El NIST AI RMF 1.0 y la ISO/IEC 42001:2023 son las referencias internacionales que el regulador puede reconocer como buena práctica. Ninguno te exime de cumplir la regulación local, pero ambos son lenguaje común con tu proveedor.

Cierre

Un agente autónomo confiable no es el que opera sin humanos, sino el que opera con humanos informados, métricas claras, y la capacidad de pausar todo el sistema si una métrica se sale del rango.