Con la diffusione degli LLM è nata la disciplina del prompt engineering, che studia il modo più efficace per fornire istruzioni al modello AI e ottenere risposte coerenti con l'obiettivo dell'utente. Fin da subito è emerso un principio tanto semplice quanto fondamentale: più il modello dispone di informazioni rilevanti e di un contesto ben definito, maggiore è la probabilità che generi un output di qualità.
Da qui nasce uno dei temi del momento: il context engineering.
Key Points
- Con l'arrivo degli AI Agent il prompt engineering non basta più. La sfida è progettare l'intero contesto che guiderà il modello durante l'esecuzione.
- Gli LLM elaborano una quantità limitata di informazioni e poi perdono precisione, rendendo indispensabile una gestione intelligente del budget di attenzione.
- Il context engineering combina progettazione del contesto, recupero dinamico delle informazioni, memoria esterna e architetture multi-agent.
Perché il prompt engineering non basta
Con l'evoluzione degli LLM, la qualità delle istruzioni (il prompt engineering in senso stretto) è diventata una parte dell'equazione. Oggi, la sfida è gestire bene tutte le informazioni che il modello riceve durante l'esecuzione di un'attività, ovvero il contesto nel quale opera. Questo cambiamento è dipeso da due fenomeni:
- Le chat sono diventate molto più lunghe e articolate. A ogni nuovo scambio il contesto cresce perché, banalmente, il modello deve ricordare il pregresso per poter fornire risposte future coerenti. Questo rende sempre più difficile stabilire quali informazioni siano davvero rilevanti per l’intelligenza artificiale.
- Sono arrivati gli agenti AI. A differenza di una chat tradizionale, l’agente non interagisce con l'LLM una sola volta, ma lo richiama continuamente all'interno di un processo iterativo. A ogni passaggio consulta documenti, strumenti, API e basi di conoscenza, genera nuove informazioni e le utilizza come contesto per gli step successivi. Il risultato è un flusso di lavoro in continua evoluzione, in cui il volume di informazioni da gestire cresce rapidamente.
La sfida è legata al fatto che, un po’ come gli esseri umani, gli LLM hanno una memoria limitata e devono operare in modo efficiente. Ogni modello può elaborare solo una quantità finita di informazioni all'interno della propria finestra di contesto, e quando questa si riempie il sistema perde inevitabilmente precisione, dimentica elementi fondamentali per le decisioni successive e non è più in grado di attribuire il giusto peso alle informazioni. Essendo gli agenti AI destinati a supportare processi aziendali core, perdere informazioni rilevanti o attribuire loro il peso sbagliato può tradursi in danni economici e reputazionali.
La disciplina del Context Engineering nasce proprio perché non basta fornire più contesto per ottenere risposte migliori, ma bisogna fornire il contesto giusto al momento giusto.
Cos'è il Context Engineering e come ottimizza il budget di attenzione
Anthropic definisce il Context Engineering come l'arte e la scienza di selezionare, organizzare e mantenere il set ottimale di informazioni che alimenta un modello linguistico durante ogni fase dell'elaborazione. In altre parole, se il prompt engineering si concentra sul modo ottimale di impartire le istruzioni, il context engineering si occupa di quali informazioni debbano essere rese disponibili al modello e quando.
L'obiettivo finale è utilizzare nel modo più efficiente possibile la limitata finestra di contesto degli LLM, facendo sì che ogni token contribuisca alla qualità della risposta ed evitando che un eccesso di informazioni provochi il cosiddetto context rot, ovvero il progressivo deterioramento della capacità del modello di recuperare le informazioni più rilevanti.
Si è già accennato al fatto che il context engineering è un processo dinamico e iterativo, perché il contesto evolve in base alle attività svolte dall'agente e alle nuove informazioni che emergono durante il processo. Il contesto nasce dalla combinazione di tre diverse sorgenti.
Le istruzioni definite dall'utente
È la componente più vicina al tradizionale prompt engineering. Comprende i system prompt, gli obiettivi, i vincoli e le regole di comportamento definite dagli sviluppatori per guidare il modello.
Le informazioni recuperate durante l'esecuzione
Durante il proprio lavoro, un agente recupera continuamente nuovi dati interrogando strumenti e sistemi esterni. Attraverso protocolli come il Model Context Protocol (MCP) può, ad esempio, consultare CRM, ERP, documentazione tecnica o servizi web, caricando nella finestra di contesto solo le informazioni necessarie in quel momento. Lo stesso principio vale per documenti, immagini o pagine web, che vengono richiamati solo quando servono, evitando di occupare inutilmente spazio nella context window.
La conoscenza prodotta dall'agente
Ogni ricerca, risposta di un tool, decisione intermedia o output finale può essere utile nei passaggi successivi. Esistono sistemi che adottano meccanismi di memoria agentica, salvando appunti e riepiloghi in memorie esterne che possono essere recuperate quando necessario.
Come progettare un sistema efficiente di Context Engineering
In termini pratici, fare context engineering significa progettare un sistema capace di fornire al modello il contesto giusto quando serve, a prescindere dalle istruzioni estemporanee date dall’utente al modello con i prompt manuali. Per riuscirci è necessario intervenire su diversi aspetti dell'architettura degli agenti.
Progettare un contesto essenziale
Il primo principio è evitare di sprecare il budget di attenzione. System prompt, istruzioni, esempi e vincoli devono essere dettagliati al punto da poter guidare il comportamento, ma senza eccessi. In quest’ultimo caso, infatti, si rischia di occupare inutilmente tutto lo spazio della finestra di contesto. La soluzione è il giusto mezzo tra l’hard coding di ogni singola regola e affermazioni generaliste prive di reale utilità.
Progettare tool token-efficient
Anche gli strumenti utilizzati dagli AI agent devono essere progettati tenendo conto della necessità di interagire con una finestra di contesto limitata. L'obiettivo è fare in modo che ogni integrazione restituisca esclusivamente le informazioni necessarie. Un tool ben progettato non restituisce centinaia di record quando ne bastano tre, né interi documenti quando è sufficiente un estratto.
Recuperare il contesto in modo progressivo
Caricare preventivamente tutto il patrimonio informativo a disposizione dell'agente non è una buona pratica. L'approccio più efficace è quello che Anthropic chiama progressive disclosure: l'agente può, ad esempio, visualizzare solo i metadati di una serie di documenti, decidere quali approfondire e recuperare il contenuto completo soltanto quando necessario. Questo comportamento viene definito dagli sviluppatori attraverso la progettazione dei workflow, delle API e delle regole che governano l’integrazione delle informazioni.
Gestire i task di lunga durata
Le attività più complesse possono superare ampiamente la capacità della finestra di contesto di un LLM e per questo le architetture più evolute adottano strategie come la summarization, che riassume automaticamente il lavoro svolto, conservando decisioni e informazioni essenziali con una netta riduzione di spazio. Altra possibilità è rivolgersi ad architetture multi-agentiche, che distribuiscono il lavoro tra agenti specializzati, ciascuno con una propria finestra di contesto, demandando a un agente coordinatore il compito di raccogliere e sintetizzare i risultati.
Vinci insieme a noi le sfide dell’Agentic AI
In Kirey aiutiamo le aziende a sfruttare al massimo il potenziale dell’intelligenza artificiale. Negli ultimi mesi gli AI Agent sono diventati il principale motore di questa evoluzione per via della loro capacità di ragionare, prendere decisioni e agire autonomamente sui processi aziendali. Questo ha certamente il potenziale di trasformare il modo in cui le imprese operano.
Le opportunità sono enormi, ma altrettanto concrete sono le sfide tecniche e progettuali da affrontare, soprattutto in un settore che evolve a una velocità senza precedenti.
È attraverso sfide come quella della context window che accompagniamo la trasformazione delle aziende, aiutandole a migliorare efficienza e produttività, accelerare l’innovazione e costruire oggi le capacità necessarie per affrontare le esigenze di domani.
Contattaci per scoprire come portare l’Agentic AI nei processi della tua organizzazione.
