Durante años, las empresas se han preguntado cómo gobernar las respuestas generadas por la IA. Pero ¿qué ocurre cuando la inteligencia artificial empieza a actuar?

La inversión en soluciones de IA agéntica sigue siendo considerable. Según la AI Pulse Survey de EY, cerca de un tercio de las empresas prevé invertir más de 10 millones de dólares en inteligencia artificial en 2026, para dar a los agentes un papel cada vez más central en la ejecución de los procesos de negocio.

El entusiasmo es comprensible: muchos ven la IA como el futuro sistema operativo de la empresa, pero esto también conlleva nuevas responsabilidades. Cuando un sistema no solo genera contenido, sino que además toma decisiones, interactúa con otros sistemas y ejecuta acciones que impactan en el negocio, la gobernanza se convierte en una prioridad absoluta.

Puntos clave

• El paradigma agéntico introduce nuevos riesgos frente a la IA generativa por su capacidad de tomar decisiones y ejecutar acciones.
• Construir un modelo de gobernanza de la IA agéntica implica abordar el cumplimiento, la seguridad, la responsabilidad y la supervisión en todo el ecosistema.
• La gobernanza debe acompañar el ciclo de vida de los agentes, desde el diseño hasta la monitorización continua y, llegado el momento, su retirada.

Por qué los sistemas agénticos cambian las reglas de la gobernanza de la IA

Durante años, la gobernanza de la IA se ha centrado en los resultados del modelo: dado un prompt y una respuesta, había que verificar su precisión, transparencia, sesgos y cumplimiento normativo. La decisión final seguía estando en manos de un profesional, que actuaba en base a su propia experiencia y al resultado del modelo de IA.

Con los sistemas agénticos el paradigma cambia, porque estos sistemas de software:

• planifican actividades;
• invocan herramientas;
• utilizan credenciales;
• acceden a datos;
• usan APIs y servicios corporativos;
• colaboran con otros agentes dentro de flujos de trabajo;
• ejecutan secuencias de acciones para alcanzar un objetivo.

A esto se suma la cuestión de la responsabilidad. Cuando un agente toma decisiones y ejecuta acciones, ¿quién es el responsable? La cadena de responsabilidad se alarga e implica no solo a quien ha desarrollado el modelo, sino también a quien ha integrado y configurado la solución y, sobre todo, a la empresa que decide confiarle determinadas actividades.

Por tanto, la gobernanza de la IA en un contexto agéntico no puede limitarse a verificar la fiabilidad del modelo sobre el que se basan las soluciones. También debe monitorizar en tiempo real qué está autorizado a hacer el agente, qué recursos puede utilizar y cuándo debe detenerse, además de establecer modelos de responsabilidad sólidos.

Los nuevos riesgos de la era agéntica

La autonomía y la capacidad de actuar representan los principales puntos de ruptura entre los sistemas agénticos y la IA generativa. Gestionarlas de forma eficaz exige contemplar nuevas categorías de riesgo, incluida la interacción del agente con el ecosistema externo.

• Pérdida de control sobre la ejecución de tareas
  Un agente puede encadenar decenas de acciones. Si los objetivos y las restricciones no se definen correctamente, los errores pueden propagarse y volverse extremadamente difíciles de detectar.
  
• Permisos y autorizaciones excesivos
  Los agentes acceden a APIs y bases de datos para realizar sus tareas. Es fundamental que los privilegios concedidos nunca superen lo estrictamente necesario. 
  
• Nuevos riesgos de ciberseguridad
  

  Cuanto más conectado está un agente a sistemas, datos y aplicaciones, mayor es el número de puntos que un atacante puede intentar explotar en su propio beneficio.

• Comportamientos impredecibles en sistemas multiagente
  

  Las interacciones entre agentes, incluso cuando se rigen por lógicas deterministas, pueden producir efectos inesperados. Es necesario definir no solo reglas, sino también mecanismos de monitorización y arbitraje capaces de detectar efectos imprevistos en tiempo real.

• Dificultad para auditar y establecer responsabilidades
  

  Reconstruir quién tomó una decisión, qué información utilizó y por qué ejecutó una acción concreta puede ser extremadamente complejo en ecosistemas que orquestan cientos de agentes de software distintos, a menudo desarrollados por proveedores diferentes e interconectados entre sí.

Responsabilidad compartida: los tres niveles de rendición de cuentas

La rendición de cuentas en los ecosistemas agénticos opera en tres niveles distintos: la tecnología, la gobernanza corporativa y los roles operativos individuales.

1. Ecosistema tecnológico
   Cada actor responde de su propio ámbito de responsabilidad. El proveedor del modelo responde de sus capacidades y limitaciones tecnológicas; quienes desarrollan e integran la solución son responsables de la arquitectura y de los mecanismos de control implementados según las indicaciones de la empresa; la propia empresa conserva la responsabilidad última sobre el uso de la solución, al decidir sus objetivos, su nivel de autonomía y las responsabilidades de los profesionales implicados.
   
2. Organización corporativa
   A nivel corporativo, una gobernanza clara es imprescindible. En términos prácticos, debe quedar claro quién define las políticas, aprueba los casos de uso, asigna autorizaciones y niveles de acceso y decide cuándo una actividad requiere intervención humana.
   Estas decisiones deberían recaer en un órgano de gobernanza transversal (riesgo, cumplimiento, seguridad y negocio), y no en una única función como IT, para equilibrar las necesidades operativas con los riesgos legales y reputacionales.
3. Roles y responsabilidades claramente definidos
   

   Una parte fundamental de la gobernanza consiste en definir quién supervisa el comportamiento del agente y reevalúa periódicamente sus permisos y niveles de autonomía, quién garantiza la trazabilidad de sus acciones y quién tiene la autoridad para suspenderlo en caso de comportamiento anómalo. Por último, es necesario establecer quién forma a los profesionales para reconocer las limitaciones del agente.

No solo cumplimiento: la gobernanza de agentes va más allá de los requisitos normativos

Puede resultar tentador pensar que invertir en gobernanza de la IA tiene que ver únicamente con garantizar el cumplimiento. En parte es cierto: el Reglamento Europeo de IA (AI Act), por citar un ejemplo actual, introduce obligaciones estrictas para los sistemas de IA, especialmente los de alto riesgo, entre ellas la supervisión humana, la trazabilidad y la gestión del riesgo a lo largo de todo el ciclo de vida.

A esto se suman, por ejemplo, los requisitos de la norma ISO 42001, que ofrece un marco estructurado para políticas, evaluación de riesgos y mejora continua, aplicable también más allá de las fronteras europeas.

Sin embargo, reducir la gobernanza a un ejercicio de cumplimiento sería un error de planteamiento. Un agente que opera con permisos excesivos y sin controles adecuados expone a la empresa a riesgos que van más allá de las sanciones e incluyen daños operativos concretos, incidentes de seguridad y repercusiones reputacionales. El cumplimiento normativo, en este sentido, es el umbral mínimo, no la meta.

La gobernanza abarca todo el ciclo de vida del agente

Un error habitual es concebir la gobernanza de los sistemas agénticos como un conjunto de controles y procesos que se aplican cuando el sistema ya está listo para producción.

1. El momento crítico para prevenir riesgos llega mucho antes, sobre todo durante la fase de diseño, cuando se definen los objetivos, las restricciones, los datos a los que el agente podrá acceder y el nivel de autonomía concedido.
   
2. Durante el desarrollo y las pruebas, la gobernanza se traduce en controles de seguridad, simulaciones de escenarios adversos y validación de los mecanismos de control antes de que el agente interactúe con sistemas o datos reales.
   
3. En el despliegue entran en juego las autorizaciones, los permisos mínimos necesarios y los umbrales de intervención humana.
4. En el día a día, la gobernanza debe apoyarse en una monitorización continua, auditorías periódicas, la reevaluación de permisos, la gestión de incidentes y la capacidad de detectar y corregir desviaciones respecto a los objetivos iniciales.
   
5. Por último, la retirada del agente también requiere atención: es necesario revocar correctamente credenciales y accesos, verificar que ningún proceso de negocio dependa del agente retirado y conservar la documentación necesaria para futuras auditorías.
   

Diseñar la gobernanza como un ciclo continuo, y no como un control inicial, es lo que distingue una adopción madura de los agentes de una implementación arriesgada.

Kirey: innovar con IA sin perder el control

La transformación digital no solo exige nuevas tecnologías, sino también una nueva forma de gobernarlas. Cuando la IA deja de ser una simple herramienta de apoyo y pasa a formar parte integral de los procesos de negocio, las empresas necesitan un partner capaz de acompañarlas en la definición de un modelo de gobernanza eficaz. Sin él, se arriesgan a afrontar problemas de cumplimiento, nuevas vulnerabilidades, responsabilidades indefinidas y la pérdida de control sobre los procesos automatizados.

En Kirey ayudamos a las empresas a transformar la inteligencia artificial: de un conjunto de experimentos e iniciativas aisladas al próximo sistema operativo de toda la organización. Las acompañamos para desbloquear todo su potencial, sin perder de vista cuestiones clave como el control, la seguridad, el cumplimiento y la gestión del riesgo. El diseño y la implementación de modelos de gobernanza para la IA agéntica persiguen precisamente ese objetivo.

Contáctanos para iniciar juntos el camino hacia una IA más autónoma, segura y bien gobernada.