Supervisión humana experta en la IA: una garantía frente al sesgo de automatización
1. La experiencia, más que nunca, un grado
Casi todos los marcos de gobernanza de la IA repiten la misma fórmula aparentemente tranquilizadora, "siempre hay una persona supervisando", suena bien, pero es insuficiente.
No se trata “simplemente” de tener una persona en el proceso de supervisión, lo esencial es que esa persona tenga los conocimientos y el criterio necesarios para gestionar adecuadamente esos sistemas con IA y saber cuándo el sistema (la IA) se equivoca. Y ahí está el problema, no todas las organizaciones tienen en cuenta que un supervisor sin conocimiento en la materia, en la mayoría de los casos, no supervisa, solo valida, y validar sin capacidad de corregir es, sencillamente, dar por bueno todo lo que la IA ha generado, incluido lo erróneo.
Por tanto, aunque mucho se habla de que la inteligencia artificial (IA) viene a sustituir el trabajo de los profesionales, la realidad de las organizaciones está demostrando que la IA no está reemplazando a las personas con más trayectoria y bagaje profesional, sino que al contrario, para su supervisión, se ha vuelto indispensable retener a quienes acumulan décadas de experiencia. Estas personas con años de experiencia son, de hecho, las más capacitadas para supervisar, validar y corregir las decisiones de esta tecnología, son las que van a saber discernir entre la realidad y lo que la IA está generando.
2. El sesgo de automatización
A medida que los modelos de IA se vuelven más sofisticados, sus respuestas se presentan de forma cada vez más sumamente convincentes. aquí radica el verdadero riesgo para cualquier organización, cuanto más convincente es una IA, más importante es contar con personas capacitadas para distinguir una respuesta correcta de otra que solo es convincente pero contiene errores de fondo, es decir de otra “engañosamente correcta”.
Cualquier usuario puede recibir una respuesta de la IA y darla por buena. Por esto, se requiere criterio, experiencia y conocimiento de la materia (ese que no se captura completamente en los modelos de IA) para identificar sesgos, interpretar resultados ambiguos y corregir salidas incorrectas.
La IA generativa no genera resultados obviamente erróneos que salten a la vista, genera respuestas fluidas y aparentemente seguras y verosímiles, y ese es exactamente el tipo de salida que desarma a quien no domina la materia, cuanto más pulida suena, más fácil es asumir que es correcta, a esto se le llama sesgo de automatización, la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA, precisamente cuando deberíamos dudar de ella.
Este sesgo de automatización, una persona experta en la materia lo neutralizaría con su bagaje profesional y conocimientos en la materia, sin embargo alguien sin los conocimientos suficientes y sobre todo sin la experiencia necesaria en la materia podría llegar, no solo a no neutralizar el sesgo, sino que al contrario podría llegar incluso a amplificarlo.
3. El coste de la confianza ciega, casos reales
Para entender la gravedad de este tipo de situaciones y que no es un problema de un sector determinado, sino un desafío transversal de la IA generativa, planteamos dos ejemplos de dos sectores totalmente distintos.
En una explotación agrícola, al solicitar el responsable del sistema de riego a un sistema con IA el cálculo de las necesidades de riego para una parcela con cítricos y olivos, la herramienta supuso, erróneamente, que el olivo es un árbol de secano y recomendó duplicar su necesidad de agua con respecto a los cítricos.
De haber procedido como indicaba la IA, se habrían perdido dos cosechas enteras, una por falta de riego y otra por exceso, sin embargo, en este caso la persona responsable del sistema, con muchos años de experiencia en el sector, detectó el error y lo corrigió, procediendo con el riego necesario y adecuado en cada caso.
En el caso de un profesional sin experiencia, cabría la posibilidad de que hubiera seguido esa recomendación al pie de la letra, perdiendo las dos cosechas enteras. Este es el valor real de la experiencia en un determinado sector o materia, no confiar ciegamente en la IA y saber cuándo desconfiar de un dato automatizado.
En ámbitos técnicos el riesgo es directo, en el nuestro sin ir más lejos (sistemas de cumplimiento de la normativa de protección de datos), seguro que a más de uno y a más de una, un sistema con IA le ha generado un análisis formalmente impecable, pero con referencias normativas incorrectas, criterios atribuidos a las Autoridades de Control que nunca sostuvieron o resoluciones inventadas que no existen.
De hecho, trabajar con IA puede, en ocasiones, volverse sumamente tedioso cuando te das cuenta de que casi todo contiene matices o detalles que están mal o no cuadran.
En ocasiones, nada de eso lo detectará quien no ha trabajado la materia durante años, podemos por tanto concluir que la experiencia y el conocimiento previos son los únicos filtros reales.
4. El sesgo de automatización en el RIA
Toda esta reflexión no es una intuición, es la propia normativa que regula la IA, el Reglamento de Inteligencia Artificial (UE) 2024/1689 (RIA / AI ACT), la que en su artículo 14, exige, entre otras cuestiones, que la persona que supervise un sistema de alto riesgo comprenda sus capacidades y limitaciones, sea capaz de detectar anomalías y de decidir no usar el resultado llegado el caso.
El referido artículo menciona de forma expresa el sesgo de automatización como riesgo que la supervisión debe contrarrestar. La propia norma reconoce, en definitiva, que la supervisión sin la competencia técnica requerida no constituye una verdadera garantía, invalidando por tanto la función garantista de la supervisión humana y reduciéndola a un formalismo vacío, a un mero trámite formal.
Cuando hoy día, con estos sistemas, generar un borrador cuesta segundos, el cuello de botella se desplaza a lo que siempre fue difícil y ahora más que nunca, el juicio para decidir si ese borrador es correcto, aplicable y defendible. El profesional con años de oficio no compite con la IA en velocidad, compite (y gana) en lo único que la IA no tiene, criterio para saber cuándo se ha equivocado.
5. ¿Por qué las organizaciones deben valoran hoy más que nunca la experiencia?
La integración de la IA en los flujos de trabajo resalta tres pilares fundamentales que solo los profesionales senior pueden aportar:
- Supervisión y corrección constante: la IA requiere reglas, ajustes y validación humana. Los expertos detectan de inmediato las salidas erróneas y reconducen los procesos automáticos.
- Responsabilidad y confianza: en decisiones críticas, las organizaciones necesitan personas con un historial comprobado para asumir la responsabilidad y asegurar la calidad de los proyectos desarrollados a través de sistemas con IA.
- Colaboración persona-máquina: el modelo ideal no es la automatización absoluta, sino equipos mixtos donde la IA aporta velocidad y escala, mientras que los expertos aportan el criterio, contexto y ética.
6. El camino a seguir
Para que esta sinergia funcione, tanto profesionales como organizaciones deben adaptarse:
- Los profesionales deben enfocarse en comunicar y hacer valer su experiencia, desarrollar habilidades específicas en la supervisión de sistemas de IA y aprender a trabajar integrados con estos modelos de trabajo.
- Las organizaciones deben priorizar la retención de su talento senior, crear procesos claros de gobernanza de IA y asignar roles precisos para la revisión humana experta.
Que la IA es una herramienta de escala increíble, creo que nadie lo pone en duda, pero sin una persona usuaria experta que la copilote con experiencia y conocimientos tanto del negocio como del contexto real en cada caso, el riesgo de cometer errores graves es sumamente alto.
La verdadera ventaja competitiva no está en la tecnología que se utiliza, sino en la experiencia de quien la utiliza y supervisa.