Le aziende stanno investendo in modo deciso nell’intelligenza artificiale poiché la considerano uno strumento concreto di competitività. Gli use case si moltiplicano, i benefici sono percepiti in termini di efficienza e produttività, e l’adozione accelera.
Per ottenere risultati concreti, però, non è sufficiente investire: è fondamentale che tempo, risorse e competenze siano distribuiti correttamente lungo tutte le fasi dell’implementazione. La data preparation, per esempio, è uno dei passaggi più rilevanti, eppure viene affrontata con un livello di attenzione non sempre adeguato.
In questo articolo, vediamo cos’è la data preparation, qual è il suo ruolo in un progetto fondato sulla GenAI e, soprattutto, come affrontarla per costruire soluzioni affidabili e sicure.
Key Points
-
Nel percorso di implementazione dell'AI, è fondamentale dedicare tempo e risorse alla data preparation, un passaggio decisivo per il risultato finale.
-
La data preparation è il processo che trasforma dati grezzi e frammentati in una base informativa coerente, affidabile e utilizzabile dai sistemi di GenAI.
-
La data preparation non è un’attività una tantum ma un processo articolato in 6 fasi chiave, dall'esplorazione dei dati fino al Data Wrangling.
Preparazione dei dati, un passaggio chiave nell’era della GenAI
La corsa alla GenAI attraversa tutti i settori: dall’assistenza clienti alle funzioni interne, le aziende stanno portando in produzione use case sempre più concreti e orientati al valore.
Fin dalle prime sperimentazioni, è emerso che i modelli general purpose, per quanto potenti, non fossero sufficienti a rispondere alle esigenze reali del business. Le organizzazioni, infatti, non cercano output generici, ma sistemi capaci di operare su processi specifici, utilizzare dati proprietari e restituire output affidabili.
Per rispondere a questa esigenza, si sono affermati i modelli verticali addestrati su dataset proprietari e tecniche come il Retrieval-Augmented Generation (RAG), che permettono di integrare nei modelli basi di conoscenza aggiornate e contestualizzate.
Questa evoluzione ha messo in luce un punto chiave, che in realtà accompagna la data science da sempre: la qualità dell’output dipende direttamente dalla qualità dei dati su cui il sistema si basa. È nella preparazione di questi che si gioca gran parte del valore di un progetto AI, ed è proprio qui che le aziende dovrebbero concentrare le proprie attenzioni.
Quando i dati sono AI-Ready? L’identikit in 4 punti
Un’azienda che vuole implementare la Generative AI parte da uno use case, non dai dati. Poi, deve capire di quali dati ha bisogno e quali caratteristiche devono avere per alimentare il modello in modo efficace.
Possiamo quindi definire AI-ready i dati che rispettano alcune condizioni fondamentali:
- Sono rilevanti rispetto allo use case;
- Sono di alta qualità, in ottica di accuratezza, completezza, aggiornamento e consistenza;
- Sono accessibili, ovvero devono poter essere recuperati, combinati e utilizzati facilmente;
- Sono governati e conformi, cioè rispettano policy di sicurezza, privacy e compliance, e non contengono bias nocivi che possono indirizzare le risposte del modello AI.
Solo quando queste condizioni sono soddisfatte pienamente si può parlare di dati AI-ready. In caso contrario, si apre il macrocapitolo della data preparation.
Data preparation per la GenAI: il cardine per ottenere output affidabili
Se l’obiettivo è costruire sistemi utili, integrati nei processi e capaci di restituire output affidabili, la preparazione dei dati è un fattore abilitante.
Cos’è la data preparation
La data preparation è l’insieme di attività necessarie per trasformare dati grezzi, eterogenei e spesso disorganizzati in una base informativa coerente e utilizzabile dai sistemi di AI. È un passaggio tutt’altro che banale, considerando che le aziende dispongono di volumi enormi di dati, strutturati e non strutturati, distribuiti tra fonti diverse e difficili da governare in modo unitario.
Fare data preparation significa, ad esempio, collegare fonti diverse, eliminare ambiguità ed errori, nonché strutturare la conoscenza in modo che possa essere acquisita facilmente dai sistemi e utilizzata in tempo reale. Senza questo processo, anche le architetture più avanzate non sono in grado di esprimere il loro potenziale.
Quali sono le 5 sfide della data preparation
La data preparation non è un processo semplice e veloce. Al contrario, è un’attività che richiede competenze dedicate, tempo e un approccio strutturato per far fronte a sfide ricorrenti.
- Dati frammentati in silos
Le informazioni sono distribuite tra sistemi come ERP, CRM e piattaforme cloud, rendendo complessa la costruzione di una base dati unificata. - Qualità del dato non adeguata
Dati incompleti, duplicati o non aggiornati sono molto diffusi e incidono direttamente sull’affidabilità delle risposte generate dai modelli. - Processi complessi e time-intensive
La data preparation è un’attività lunga e ripetitiva, con aree manuali che rallentano l’intero ciclo di sviluppo delle soluzioni AI. - Elevata complessità tecnica
Integrare fonti diverse, gestire dati strutturati e non, garantire coerenza e tracciabilità richiedono competenze tecniche e strumenti adeguati. -
Rapida obsolescenza dei dati
Una parte significativa delle informazioni aziendali perde valore in tempi brevi, rendendo necessario un aggiornamento continuo per mantenere la qualità degli output.
Come preparare i dati per l’AI: le 6 fasi chiave
Preparare i dati per la GenAI è un processo che si sviluppa in più fasi ed evolve nel tempo. Le attività non sono rigidamente sequenziali: spesso si sovrappongono, si ripetono e si affinano man mano che cambiano gli use case ed evolvono le esigenze di business.
Esplorare e comprendere i dati
Il primo passo consiste nel comprendere cosa c’è nei dati aziendali, un’attività tutt’altro che banale considerando che le informazioni sono numerose, distribuite su sistemi diversi e caratterizzate da formati molto eterogenei. In questa fase si analizzano le fonti, si individuano eventuali anomalie e si iniziano a valutare relazioni e lacune.
Il supporto di strumenti automatizzati è fondamentale per accelerare queste attività, ma non è sufficiente: resta indispensabile il contributo umano, ovvero la capacità di interpretare i dati, comprenderne il significato e collegarli all’obiettivo della soluzione.
Migliorare la qualità del dato
I dati devono diventare affidabili nel minor tempo possibile, motivo per cui le attività di data quality seguono immediatamente la fase di esplorazione. Qui si interviene su duplicazioni, errori, valori mancanti e informazioni non rilevanti, migliorando coerenza e completezza del dato.
Questo vale anche per i dati non strutturati, che vanno resi utilizzabili dai sistemi AI: documenti, email e report possono essere normalizzati, suddivisi in unità coerenti, arricchiti con metadati e trasformati in formati che possano essere facilmente elaborati dai modelli.
Integrare e arricchire le fonti
Una fase chiave della preparazione dei dati consiste nel mettere in relazione informazioni provenienti da fonti diverse, con l’obiettivo di costruire una base unificata e coerente da cui l’AI possa attingere per arricchire la propria capacità di risposta.
Data profiling
In questa fase si verificano la qualità e la coerenza dei dati, valutando se siano davvero adatti allo use case. Si analizzano struttura, contenuti e relazioni per individuare criticità prima che impattino il sistema.
Estrarre, trasformare e rendere disponibili i dati (ETL)
A questo punto, i dati vengono raccolti dalle diverse fonti, trasformati in un formato coerente e resi disponibili in un ambiente centralizzato. Questo passaggio abilita l’accesso uniforme alle informazioni e consente ai modelli di lavorare su basi dati integrate e aggiornate.
Adattare i dati al modello e allo use case
Infine, i dati vengono ulteriormente adattati in funzione del modello e delle modalità di utilizzo in una fase che viene definita di Data Wrangling. Qui si riorganizzano, arricchiscono e ottimizzano i dati per renderli realmente efficaci nello specifico sistema AI.
Dalla strategia al valore: il nostro ruolo nei progetti AI
In Kirey, accompagniamo le aziende nei percorsi di adozione dell’intelligenza artificiale, seguendone l’evoluzione tecnologica e lavorando per tradurla in valore concreto per il business.
La data preparation è solo uno dei passaggi di questo percorso, ma è anche uno dei più critici, perché è qui che si gioca gran parte del successo di un progetto. In Kirey ce ne facciamo carico mettendo a disposizione dei nostri clienti competenze specialistiche, strumenti avanzati ed esperienza sul campo. L’obiettivo è uno: costruire applicazioni AI-based affidabili, sicure e orientate al valore.
Contattaci per scoprire come intraprendere insieme un percorso concreto di AI adoption.
