Un RAG aziendale si rompe quasi sempre prima del modello: nel recupero dei passaggi giusti, nei permessi, nelle versioni vecchie che restano nell'indice e nel modo in cui il modello riempie i vuoti. Per questo, quando mi occupo di sviluppo RAG aziendale, dedico più tempo al recupero e alla misura che alla scelta del modello. Qui trovi i quattro punti di rottura che controllo e come si misura un RAG prima di metterlo davanti a colleghi o clienti.
Sviluppo RAG aziendale: la risposta in breve
Un RAG (retrieval augmented generation) è un sistema che, prima di rispondere, cerca nei tuoi documenti le parti pertinenti e le passa al modello linguistico insieme alla domanda. La risposta è buona solo se il recupero ha trovato i passaggi giusti, se l'utente aveva il diritto di vederli e se il modello si limita a quello che ha davanti.
Svilupparlo bene vuol dire:
- preparare i documenti in modo che ogni parte si capisca anche da sola;
- applicare i permessi durante la ricerca, non dopo;
- tenere l'indice allineato con i documenti in vigore;
- misurare il sistema su un set di domande con le risposte attese, prima e dopo ogni modifica.
Se stai valutando un progetto più ampio, la pagina sull'intelligenza artificiale per aziende spiega come scelgo il primo processo da affrontare.
Cos'è la retrieval augmented generation, in pratica
Il termine viene dal paper di Lewis e altri, presentato a NeurIPS 2020, che descrive modelli che «combine pre-trained parametric and non-parametric memory for language generation»: la conoscenza appresa dal modello più un archivio esterno in cui cercare. Lo stesso paper notava che, per i modelli linguistici da soli, «providing provenance for their decisions and updating their world knowledge remain open research problems». Sono i due motivi per cui un'azienda vuole un RAG: dire da dove viene una risposta e aggiornare le informazioni senza riaddestrare nulla.
In un'applicazione reale il flusso è questo:
- i documenti vengono divisi in parti (chunk) e indicizzati, di solito con embedding in un database vettoriale e spesso anche con una ricerca per parole chiave;
- alla domanda, il sistema recupera le parti più vicine;
- il modello riceve la domanda e le parti recuperate e scrive la risposta, con i riferimenti.
Ogni passaggio può sbagliare in silenzio. La risposta finale, invece, suona sempre sicura.
Primo punto di rottura: il recupero dei documenti
Se il recupero porta le parti sbagliate, nessun modello può rispondere bene. Il problema più comune è il chunking: una parte tagliata male perde il contesto. Anthropic lo scrive nel suo articolo su Contextual Retrieval: «traditional RAG solutions remove context when encoding information». Una riga che dice «il termine è di trenta giorni» non serve a niente se nel chunk manca di quale contratto si parla.
Nello stesso articolo Anthropic riporta le sue prove. Aggiungere a ogni chunk un breve contesto ha ridotto del 35% i recuperi falliti fra i primi 20 risultati. Con una ricerca per parole chiave (BM25) la riduzione è salita al 49%. Con un passaggio di reranking, al 67%. Sono misure fatte sui loro dati e non valgono come promessa per i tuoi documenti. Indicano però dove conviene lavorare.
C'è poi il limite del contesto lungo. Lo studio Lost in the Middle (Liu e altri, 2023) ha osservato che le prestazioni sono spesso più alte quando l'informazione utile sta all'inizio o alla fine dell'input, e peggiorano in modo significativo quando sta nel mezzo di un contesto lungo. Passare al modello cinquanta chunk «per sicurezza» peggiora le risposte.
Cosa controllo:
- che ogni chunk porti con sé titolo del documento, sezione e data;
- che la ricerca combini significato e parole esatte (codici prodotto, numeri di contratto, sigle);
- quanti chunk arrivano davvero al modello, e in che ordine.
Secondo punto: permessi e dati che non dovrebbero uscire
Un RAG che indicizza tutto in un unico archivio può mostrare a un utente un documento che nel sistema originale non poteva aprire. L'OWASP dedica una voce della sua Top 10 per le applicazioni LLM a questo rischio, LLM08:2025 Vector and Embedding Weaknesses, e raccomanda «fine-grained access controls and permission-aware vector and embedding stores», con una separazione dei dati fra classi di utenti o gruppi diversi.
In pratica il filtro sui permessi va applicato nella ricerca stessa: il sistema recupera solo fra i documenti che quell'utente può leggere. Filtrare dopo, nella risposta, è troppo tardi: il testo è già passato dal modello.
Lo stesso vale per il contenuto dei documenti. Un file arrivato da fuori può contenere istruzioni rivolte al modello: l'OWASP chiama questo caso indirect prompt injection, che si verifica quando un LLM «accepts input from external sources, such as websites or files». In TreZeroUno, la piattaforma che ho costruito, il testo che arriva dai siti web è trattato come dato e mai come istruzione. Per un RAG aziendale la regola è la stessa.
Terzo punto: documenti vecchi e versioni in conflitto
Il RAG risponde con quello che trova nell'indice, e nell'indice ci sono spesso più versioni dello stesso listino o della stessa procedura. Se il recupero pesca la versione superata, la risposta sarà precisa, ben scritta e sbagliata.
Le contromisure sono di processo prima che di codice:
- una fonte di verità per ogni tipo di documento, con una persona responsabile;
- l'indice aggiornato quando un documento cambia o viene ritirato, non una volta al mese;
- la data e lo stato (in vigore, superato) salvati con ogni chunk e usati nella ricerca;
- la data del documento citato mostrata nella risposta, così chi legge se ne accorge.
Quarto punto: il modello che riempie i vuoti
Quando il recupero non trova la risposta, il modello tende comunque a darne una. È il punto più pericoloso perché non si vede: la frase è plausibile e arriva con lo stesso tono delle risposte giuste.
Le difese che metto in un RAG:
- istruzioni esplicite per rispondere solo con quello che è nei passaggi recuperati e dire «non lo trovo nei documenti» quando manca;
- citazione obbligatoria delle parti usate, verificabile con un clic;
- un controllo automatico che la risposta citi davvero almeno un passaggio recuperato;
- per le domande ad alto rischio (contratti, sicurezza, salute), una persona che approva prima che la risposta esca.
Come si misura un RAG prima di andare in produzione
Un RAG si misura con un set di valutazione: un elenco di domande reali con la risposta attesa e i documenti in cui si trova. Lo preparo con le persone che conoscono il lavoro, prima di scrivere il codice, e lo rilancio a ogni modifica.
Le misure vanno tenute separate per fase:
| Cosa misuro | Domanda a cui risponde |
|---|---|
| Recupero | Fra i primi risultati c'è il passaggio giusto? |
| Fedeltà | La risposta dice solo cose presenti nei passaggi recuperati? |
| Correttezza | La risposta coincide con quella attesa? |
| Rifiuto | Quando l'informazione non c'è, il sistema lo dice? |
| Permessi | Un utente senza accesso riceve mai quel contenuto? |
Separare le misure dice dove intervenire. Se il recupero è buono e la risposta no, il problema è nel prompt o nel modello; se il recupero è scarso, cambiare modello non serve. Dopo il rilascio, le domande vere degli utenti con i loro esiti diventano nuovi casi del set.
Quando il RAG non serve
Se la base di conoscenza è piccola, si può passare tutto al modello. Nell'articolo su Contextual Retrieval, Anthropic indica che sotto i 200.000 token (circa 500 pagine) si può includere l'intera base nel prompt, e che il prompt caching rende questo approccio più veloce ed economico.
Il RAG non serve nemmeno quando la domanda chiede un dato esatto da un gestionale: in quel caso è meglio che il sistema interroghi il database con una query controllata. Ne parlo nella nota sugli agenti AI in produzione, dove il modello chiama strumenti invece di leggere testo.
Domande frequenti
Che cos'è il RAG?
RAG sta per retrieval augmented generation, cioè generazione aumentata dal recupero. Prima di rispondere, il sistema cerca nei tuoi documenti i passaggi pertinenti e li passa al modello linguistico insieme alla domanda. Così la risposta si basa su informazioni aggiornate e citabili, oltre a ciò che il modello ha imparato.
Il RAG elimina le allucinazioni?
No. Le riduce quando il recupero trova i passaggi giusti, ma il modello può ancora riempire i vuoti o mescolare fonti diverse. Servono istruzioni per dire quando l'informazione manca, citazioni verificabili e un set di valutazione che misuri anche i rifiuti.
Che differenza c'è tra RAG semplice e RAG agentico?
Nel RAG semplice il sistema fa una ricerca e poi risponde. Nel RAG agentico il modello decide quali ricerche fare, in che ordine e se usare altri strumenti, per esempio una query a un database. È più flessibile, ma costa di più ed è più difficile da controllare: lo uso solo quando le domande lo richiedono.
Meglio RAG o fine-tuning per i documenti aziendali?
Per rispondere su documenti che cambiano, di solito il RAG: aggiorni l'indice e la risposta cambia, con la fonte citata. Il fine-tuning serve a insegnare al modello uno stile o un formato, non a tenerlo aggiornato su listini e procedure. Le due tecniche si possono combinare.
Fonti
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis e altri, NeurIPS 2020
- Introducing Contextual Retrieval, Anthropic
- Lost in the Middle: How Language Models Use Long Contexts, Liu e altri, 2023
- LLM08:2025 Vector and Embedding Weaknesses, OWASP GenAI Security Project
- LLM01:2025 Prompt Injection, OWASP GenAI Security Project