Sono anni che le aziende si interrogano su come governare le risposte dell’AI. Ma cosa succede quando l’intelligenza artificiale inizia ad agire?
Gli investimenti in soluzioni di Agentic AI continuano a essere massicci. Secondo l’AI Pulse Survey di EY, circa un terzo delle aziende prevede di investire oltre 10 milioni di dollari in intelligenza artificiale nel 2026, con l’obiettivo di affidare agli agenti un ruolo sempre più centrale nell’esecuzione dei processi aziendali.
L’entusiasmo è comprensibile: l’AI è vista da molti come il futuro sistema operativo dell’impresa, ma questo comporta anche nuove responsabilità. Quando un sistema non si limita a generare contenuti ma prende decisioni, interagisce con altri sistemi ed esegue azioni con un impatto sul business, la governance diventa una priorità assoluta.
Key Points
- Il paradigma agentico introduce nuovi rischi rispetto all’AI generativa per via della capacità di prendere decisioni ed eseguire azioni.
- Costruire un modello di Agentic AI governance significa affrontare tematiche di compliance, security, accountability e supervisione dell’intero ecosistema.
- La governance deve accompagnare il ciclo di vita degli agenti, dalla progettazione fino al monitoraggio continuo e alla loro eventuale dismissione.
Perché i sistemi agentici cambiano le regole dell’AI governance
Per anni la AI governance si è concentrata sull’output dei modelli: a fronte di un prompt e di una risposta, era necessario verificare accuratezza, trasparenza, bias e conformità normativa. L’ultima decisione spettava a un professionista, che avrebbe agito sulla base della propria esperienza e dell’output del modello AI.
Con i sistemi agentici il paradigma cambia, perché questi software:
- pianificano attività;
- richiamano strumenti;
- usano credenziali;
- accedono a dati;
- utilizzano API e servizi aziendali;
- collaborano con altri agenti all’interno di workflow;
- eseguono sequenze di azioni per raggiungere un obiettivo.
A complicare il quadro c’è il tema della responsabilità. Quando un agente prende decisioni ed esegue azioni, chi ne risponde? La catena di accountability si allunga e coinvolge chi ha sviluppato il modello, ma anche chi ha integrato e configurato la soluzione e, soprattutto, l’azienda che decide di affidargli determinate attività.
La AI governance in un contesto agentico non può quindi limitarsi a verificare l’affidabilità del modello su cui basano le soluzioni, ma deve controllare in tempo reale cosa l’agente è autorizzato a fare, quali risorse può utilizzare e quando deve fermarsi, definendo inoltre solidi modelli di accountability.
I nuovi rischi dell’era agentica
L’autonomia e la capacità di agire rappresentano i principali elementi di discontinuità dei sistemi agentici rispetto all’AI generativa. Per gestirli al meglio bisogna considerare nuove categorie di rischio, che riguardano anche l’interazione dell’agente con l’ecosistema esterno.
- Perdita di controllo sull’esecuzione delle attività
Un agente può concatenare decine di azioni. Se obiettivi e vincoli non sono fissati in modo corretto , gli errori possono propagarsi e rilevarli diventa molto complesso. - Permessi e autorizzazioni eccessivi
Gli agenti accedono ad API e database per svolgere i propri compiti. È fondamentale che i privilegi concessi non superino mai lo stretto indispensabile. - Nuovi rischi cyber
Più un agente è connesso a sistemi, dati e applicazioni, maggiore è il numero di punti che un attaccante può tentare di sfruttare a suo beneficio. - Comportamenti non prevedibili dei sistemi multi-agent
Le interazioni tra agenti, per quanto dettate da logiche deterministiche, possono produrre effetti inattesi. Occorre definire non solo delle regole, ma anche meccanismi di monitoraggio e arbitraggio in grado di intercettare, in tempo reale, gli effetti imprevisti. - Difficoltà di audit e accountability
Ricostruire chi ha preso una decisione, quali informazioni ha utilizzato e perché abbia eseguito una determinata azione può essere estremamente complesso all’interno di ecosistemi che orchestrano centinaia di agenti software diversi, spesso sviluppati da fornitori differenti e interconnessi tra di loro.
Una responsabilità condivisa: i tre livelli di accountability
La responsabilità negli ecosistemi agentici si gioca su tre livelli distinti: quello della tecnologia, quello del governo aziendale e quello dei singoli ruoli operativi.
- Ecosistema tecnologico
Ogni attore è responsabile del proprio perimetro. Il fornitore del modello risponde delle sue capacità e dei suoi limiti tecnologici; chi sviluppa e integra la soluzione è responsabile dell’architettura e dei meccanismi di controllo implementati su decisione dell’azienda; quest’ultima mantiene la responsabilità finale del suo utilizzo decidendo obiettivi, livello di autonomia e responsabilità dei professionisti. - Organizzazione aziendale
A livello aziendale serve senz’altro una governance chiara. In termini pratici, deve essere chiaro chi definisce le policy, approva i casi d'uso, assegna autorizzazioni e livelli di accesso e decide quando un'attività richiede l'intervento umano.
Queste decisioni dovrebbero far capo a un organo di governance interfunzionale (risk, compliance, sicurezza, business) e non a una singola funzione come l'IT, così da bilanciare esigenze operative, rischi legali e reputazionali. - Ruoli e responsabilità ben definiti
Parte fondante della governance è definire chi monitora il comportamento dell'agente e rivaluta periodicamente permessi e livelli di autonomia, chi garantisce la tracciabilità delle sue azioni e chi ha il potere di sospenderlo in caso di comportamenti anomali. Infine, occorre stabilire chi forma i professionisti a riconoscere i limiti dell'agente.
Non solo compliance: la governance degli agenti va oltre il dettato normativo
Verrebbe da pensare che investire in AI governance serva unicamente a mettersi in regola. In parte è vero: l'AI Act europeo, per citare un caso di attualità, introduce obblighi stringenti per i sistemi di AI, soprattutto quelli ad alto rischio, tra cui figurano la supervisione umana, la tracciabilità e la gestione del rischio lungo tutto il ciclo di vita.
A questo si affianca, per esempio, il dettato dello standard ISO 42001, che offre un framework strutturato per policy, valutazione dei rischi e miglioramento continuo, applicabile anche fuori dai confini europei.
Ridurre la governance a un esercizio di compliance sarebbe però un errore di prospettiva. Un agente che opera con permessi eccessivi e senza controlli adeguati espone l'azienda a rischi che vanno oltre la sanzione e comprendono danni operativi concreti, incidenti di sicurezza e ripercussioni reputazionali. La compliance normativa, in questo senso, è la soglia minima, non l'obiettivo.
La governance riguarda tutto il ciclo di vita degli agenti
Un errore comune è pensare alla governance dei sistemi agentici come a controlli e processi da applicare quando il sistema è già pronto per la produzione.
- Il momento critico per prevenire i rischi arriva molto prima, e in particolare nella fase di progettazione, quando si definiscono obiettivi, vincoli, dati a cui l'agente potrà accedere e livello di autonomia concesso.
- Durante lo sviluppo e i test, la governance si traduce in verifiche di sicurezza, simulazioni di scenari avversi e validazione dei meccanismi di controllo, prima che l'agente tocchi sistemi o dati reali.
- Nella fase di deployment, entrano in gioco autorizzazioni, permessi minimi necessari e soglie di intervento umano.
- Nell'operatività quotidiana la governance va sostenuta con un monitoraggio continuo, con audit periodici, con la rivalutazione dei permessi, la gestione degli incidenti e la capacità di rilevare e correggere derive rispetto agli obiettivi originari.
- Infine, anche il decommissioning richiede attenzione: è necessario revocare correttamente credenziali e accessi, verificare che nessun processo aziendale dipenda dall'agente dismesso e conservare la documentazione utile per audit futuri.
Progettare la governance come un ciclo continuo, e non come un controllo iniziale, è ciò che distingue un'adozione matura degli agenti da un'implementazione rischiosa.
Kirey: innovare con l’AI, senza perdere il controllo
La trasformazione digitale non richiede solo nuove tecnologie, ma anche un nuovo modo di governarle. Quando l’AI smette di essere un semplice strumento di supporto e diventa parte integrante dei processi aziendali, è necessario un partner capace di accompagnare l’azienda nella definizione di un modello di governance efficace. Senza di esso, l’azienda rischia di scontrarsi con problemi di conformità, con nuove vulnerabilità, con responsabilità non definite e con la perdita di controllo sui processi automatizzati.
In Kirey aiutiamo le aziende a trasformare l’intelligenza artificiale da insieme di sperimentazioni e iniziative isolate al prossimo sistema operativo di tutta l’organizzazione. Siamo al loro fianco per valorizzarne appieno il potenziale, ma senza perdere di vista tematiche chiave come controllo, sicurezza, compliance e gestione del rischio. La progettazione e l’implementazione di modelli di governance dell’AI agentica vanno precisamente in questa direzione.
Contattaci per avviare insieme il percorso verso un’AI più autonoma, sicura e governata.
