Un RAG non è solo embedding
La qualità di un RAG dipende tanto dalla preparazione dei dati quanto dal modello. Chunking, metadati, strategia di ricerca e filtraggio influenzano direttamente la pertinenza.
Un’architettura robusta deve anche garantire la tracciabilità delle fonti e la possibilità di non rispondere quando il contesto disponibile è insufficiente.
Un buon sistema RAG è quindi una pipeline documentale completa e non una semplice query di similarità vettoriale.
Scegliere una strategia di chunking
Chunk troppo piccoli perdono il contesto di business. Chunk troppo grandi riducono la precisione della ricerca e aumentano il numero di token inviati al modello.
Il chunking deve rispecchiare la struttura reale dei documenti: titoli, paragrafi, tabelle, clausole contrattuali o blocchi funzionali.
È utile misurare più strategie invece di fissare una volta per tutte una dimensione arbitraria.
Combinare ricerca vettoriale e filtri di business
La ricerca semantica non deve aggirare i diritti di accesso né il contesto di business. Ancora prima di calcolare la similarità, il sistema deve restringere il corpus autorizzato.
Tenant, tipo di documento, periodo, stato, lingua o livello di riservatezza sono filtri che devono partecipare alla ricerca.
In molti casi una strategia ibrida che combina ricerca lessicale e vettoriale offre risultati migliori di un approccio puramente semantico.
Progettare per l’osservabilità
Tracciare i documenti recuperati, i punteggi di similarità, la latenza e gli errori aiuta a capire se un problema deriva dalla ricerca o dalla generazione.
Questa osservabilità è essenziale per migliorare progressivamente prompt, strategie di ricerca e modelli.
Le tracce devono consentire di riprodurre una risposta senza esporre inutilmente dati sensibili.
Valutare la qualità prima della produzione
Un sistema RAG non si convalida con qualche demo. I team devono costruire un insieme di domande rappresentativo e misurare sia la precisione della ricerca sia la qualità delle risposte.
I test automatizzati permettono di rilevare regressioni dopo un cambio di modello, di prompt o di strategia di chunking.
L’obiettivo non è solo una risposta plausibile, ma una risposta utile, tracciabile e fondata sulle fonti giuste.
