Le aziende sono consapevoli del potenziale pressoché illimitato dell’intelligenza artificiale. Parte del merito va all’AI generativa, che ha esteso la consapevolezza delle capacità di AI oltre il perimetro degli addetti ai lavori, ma anche dai risultati che molte aziende hanno già ottenuto in termini di efficienza, produttività, automazione e supporto alle decisioni strategiche e operative.
Le aspettative sono molto alte. L’intelligenza artificiale può condizionare la competitività, ma è fondamentale che ogni struttura sia in grado di misurare le sue effettive performance (AI performance), ovvero i benefici che l’azienda ha ottenuto e sta ottenendo investendoci. Questo, purtroppo, non è banale.
AI performance, ovvero porsi le domande giuste
Le imprese che scommettono sull’AI devono mettere in conto un investimento non trascurabile in competenze, infrastrutture, tecnologie e consulenza. Questo determina l’immediata esigenza di dimostrarne il valore nel modo più accurato e rapido possibile. Solo così, infatti, è possibile giustificare gli investimenti, ottenerne di nuovi, conquistare la fiducia degli stakeholder e dimostrare l’allineamento delle iniziative in essere agli obiettivi di business.
Da quanto detto, sembrerebbe che misurare le AI performance significhi soltanto calcolare il ROI degli investimenti. Questo però non è del tutto corretto, perché il ROI è un indicatore centrale ma non esaustivo. Piuttosto, l’azienda deve definire in modo chiaro gli obiettivi delle singole iniziative e, contestualmente, adottare degli indicatori che le permettano di monitore l’efficacia della soluzione e il progresso fatto finora. In altri termini, l’azienda deve prima porsi le domande giuste su come valutare l’efficacia delle soluzioni che sta implementando, e questo ovviamente dipende dal loro scopo.
- Quanto è migliorata la CX da quando abbiamo introdotto l’intelligenza artificiale?
- Il turnover dei dipendenti è diminuito?
- I costi di produzione si sono alleggeriti?
- Il downtime è diminuito?
- In che modo la soluzione ci sta aiutando a raggiungere gli obiettivi ESG?
- Qual è l’impatto sull’engagement dei dipendenti?
- AI sta effettivamente aiutando l’organizzazione a prendere decisioni migliori?
Le metriche di successo, dall’adoption all’accuratezza del modello
Vivendo nell’era data-driven, misurare il successo significa definire e tracciare specifici indicatori di performance (KPI), che ancora una volta dipendono dall’obiettivo dell’iniziativa e dalle domande che ci si è posti. Partendo da questa premessa, è possibile evidenziare i più comuni.
Tasso di adozione
Se l’AI viene integrata in una soluzione interna, misurare il tasso di adozione è fondamentale per comprenderne l’utilità effettiva o percepita. Parliamo di utilità percepita perché un’adoption rate insoddisfacente non dipende solo dalla scarsa efficacia della soluzione, ma anche dall’incapacità della struttura di gestire la complessa tematica del cambiamento e di trasformare/far evolvere la cultura aziendale.
Metriche della customer experience
Se l’AI viene introdotta per potenziare la relazione con il cliente, i primi indicatori sono quelli della customer experience (CX). Si parte quindi dal tradizionale NPS (Net Promoter Score), per poi approfondire con indicatori più specialistici come CSAT (Customer Satisfaction Score), il churn rate e molti altri. Più che confrontarsi con i benchmark di mercato, qui l’aspetto centrale è monitorare il proprio progress nel tempo.
Valutazione della employee experience
Mantenere alto il morale delle persone è fondamentale in un’azienda orientata alla produttività. Qui, l’intelligenza artificiale può fungere da assistente personale dei dipendenti, può aiutarli in molti task (es, la ricerca di informazioni complesse) e può sollevarli da operazioni di routine (es, chatbot). In questo caso, tra le metriche di successo segnaliamo il turnover rate, diversi KPI di engagement, l’indice di soddisfazione e il tasso di assenteismo.
Performance del modello AI
Con l’espressione AI performance non si intendono soltanto gli effetti della soluzione sul business aziendale, ma anche l’efficacia, o meglio l’accuratezza, della tecnologia o del modello di AI implementato. Qui vengono in soccorso diversi indicatori usati dai data scientist, che risultano fondamentali per creare trust nei confronti dell’intelligenza artificiale: F1 Score, Confusion Matrix, Mean Squared Error (MSE) e molti altri. Sono anche disponibili dei benchmark, come Glue e SuperGlue, per valutare caratteristiche specifiche, come le capacità di comprensione del linguaggio naturale.
Il ROI degli investimenti in AI, l’indicatore per eccellenza
Abbiamo detto che il ROI non è l’unico indicatore da monitorare, ma resta pur sempre centrale perché misura la redditività dell’investimento, calcolato come il rapporto tra il capitale investito e il profitto realizzato. Il ROI degli investimenti in AI è un indicatore di efficacia dell’intelligenza artificiale, a prescindere dallo scopo per cui è impiegata.
Calcolare il ROI dell’AI presenta delle sfide significative, principalmente per due motivi:
- Il coinvolgimento di molteplici elementi intangibili;
- La natura fortemente evolutiva dell’AI. Per esempio, l’accuratezza dei risultati di un modello di machine learning cambia nel tempo; questo condiziona gli effetti benefici sul business e, di conseguenza, il ROI delle iniziative.
In aggiunta, sembrerebbe che le aziende facciano diversi errori proprio in sede di misurazione del ritorno sull’investimento in AI. Qualche anno fa, PwC identificò i 3 principali.
- Non tener conto dell’incertezza dovuta al fatto che i modelli di AI non hanno un’accuratezza del 100%. Va quindi messo in conto il costo degli errori, cosa che pochi fanno;
- Valutare il ROI in modo statico. Come si è visto, le performance di AI cambiano nel tempo e la misurazione del ROI deve tenerne conto;
- Valutare i progetti come singole unità, senza vedere la big picture dell’intero portafoglio e dei suoi effetti sull’intero business aziendale.
Un percorso per calcolare il ROI dell’intelligenza artificiale
Esistono diversi approcci per calcolare il ritorno sull’investimento. Il problema non è la metodologia di calcolo, per cui si può utilizzare un semplice rapporto costi-benefici o metodi più complessi come il calcolo del il tempo di rientro dell’investimento, bensì riuscire a individuare tutte le voci dirette, indirette e più o meno nascoste che rientrano nelle macroaree dei benefici e dei costi.
1. Quantificazione dei benefici tangibili e intangibili
La quantificazione dei benefici tangibili e intangibili è un elemento chiave per il calcolo del ROI. I benefici tangibili sono facilmente quantificabili e misurabili in termini economici, come il risparmio sui costi operativi e l'aumento delle entrate dirette.
I benefici intangibili sono più difficili da quantificare, ma altrettanto significativi. Si pensi, ad esempio, a una riduzione di difettosità dei prodotti, a un potenziamento della reputazione del brand, o al miglioramento organizzativo in ottica di agilità. Si tratta di elementi che possono accelerare (o meno) il successo di ogni organizzazione, ma non sempre sono traducibili in termini finanziari.
2. Quantificazione dei costi dell’investimento
La rilevazione di tutti i costi è (ovviamente) fondamentale, ma anche in questo caso si tratta di un fattore di forte complessità data la quantità di voci non apparenti o facilmente quantificabili. Per esempio, vanno considerati:
- Costi di sviluppo e di implementazione della soluzione;
- Costi delle consulenze;
- Costi operativi ricorrenti, come quelli per la manutenzione e l'aggiornamento dei sistemi;
- Costi relativi alle iniziative di change management;
- Costi di formazione necessari per sfruttare al 100% la soluzione;
- Costi di integrazione con i sistemi esistenti;
- Costi di data management.
3. Definizione di un timeframe adeguato
Come accennato, è molto importante stabilire il momento giusto per misurare il ROI, poiché i modelli e le tecnologie sono in continua evoluzione e cambiamento. Il timeframe va selezionato tenendo conto che le soluzioni richiedono un periodo di adattamento e di ottimizzazione prima di produrre risultati significativi. Questo approccio riduce le aspettative irrealistiche che, purtroppo, spesso accompagnano l’intero tema dell'intelligenza artificiale.
L’importanza di misurare le performance dell’AI
Le promesse dell’AI sono affascinanti, e c’è il rischio che le aziende si lancino nell’adozione della tecnologia senza aver definito aspettative realistiche e budget adeguati.
Integrare l'AI in azienda comporta costi significativi e richiede non solo competenze e tecnologie, ma anche una pianificazione accurata. È quindi essenziale stabilire gli obiettivi, definire i metodi per monitorare i progressi, prevedere e valutare i benefici effettivi. Affidarsi a un consulente esperto può fare la differenza.
Il tema è in perenne evoluzione, e quanto sopra rappresenta solo una panoramica di un argomento molto più vasto e complesso, che acquisirà sempre maggiore rilevanza nel tempo. Le aziende dovrebbero però fin da subito attrezzarsi non solo sul fronte tecnico, ma anche su quello della valutazione delle performance, così da ottenere il massimo possibile.
-1.png "002-Kirey Group - una riga - (color)-1")
