IT EN
Avvia una prova

Note operative AI operativa

Come fa un’AI a rispondere sui documenti aziendali, e a citare la pagina?

5 min di lettura

Se state pensando a un assistente che risponda ai colleghi sulle procedure interne, sui manuali o sui contratti, la prima domanda da fare a chi ve lo propone è: da dove prende le risposte? Un modello di linguaggio conosce quello che ha letto durante l’addestramento, e i vostri documenti non li ha mai visti. Per rispondere su quelli li deve leggere al momento della domanda. Come li trova, e se vi dice dove li ha trovati, decide quanto vi potete fidare.

Due memorie: quella del modello e quella dei vostri documenti

Il metodo ha un nome inglese, retrieval-augmented generation (RAG), generazione aiutata dalla ricerca. Lo ha descritto nel 2020 un gruppo di ricercatori in un articolo presentato alla conferenza NeurIPS. Partivano da un limite: i modelli conservano conoscenze nei loro parametri, ma «their ability to access and precisely manipulate knowledge is still limited», la capacità di ritrovare e usare con precisione quello che sanno è ancora limitata. E restavano aperti due problemi: «providing provenance for their decisions and updating their world knowledge», dire da dove viene una risposta e aggiornare quello che sanno.

La loro proposta: affiancare alla memoria del modello una memoria esterna, un indice di documenti in cui cercare prima di scrivere. Per un’azienda è proprio il punto. Le procedure cambiano, e una risposta senza fonte non si può controllare.

Come funziona, in quattro passi

  1. I documenti si dividono in pezzi, di solito qualche paragrafo. Ogni pezzo porta con sé il nome del file, la versione e la pagina.
  2. Si costruisce un indice. Si cerca per parole, come in un motore di ricerca, e per significato: un modello più piccolo trasforma ogni pezzo in una serie di numeri, così una domanda trova il pezzo giusto anche quando usa parole diverse.
  3. Alla domanda, la ricerca sceglie pochi pezzi, i più vicini, e li passa al modello insieme alla domanda.
  4. Il modello risponde leggendo quei pezzi e indica file e pagina. Se lì la risposta non c’è, deve dirlo.

Tutto questo può girare dentro l’azienda: i documenti, l’indice, il modello che costruisce l’indice e quello che risponde. Se una parte dell’archivio è di carta o di PDF scansionati, prima va letta: ne abbiamo scritto in come rendere cercabile l’archivio tecnico.

Perché non dargli da leggere tutto

Un modello recente accetta testi lunghi in una richiesta sola: quello che usiamo noi arriva a 262.144 token, cioè pezzi di parola. Un archivio aziendale, però, è molto più grande. E c’è un secondo limite.

Uno studio pubblicato nel 2024 su Transactions of the Association for Computational Linguistics ha misurato che i risultati sono «often highest when relevant information occurs at the beginning or end of the input context», spesso migliori quando l’informazione utile sta all’inizio o alla fine del testo, e calano molto quando sta in mezzo, «even for explicitly long-context models», anche nei modelli fatti apposta per testi lunghi. Nella stessa ricerca, passare da 20 a 50 documenti trovati dalla ricerca ha migliorato poco le risposte: secondo gli autori, i modelli non riescono a usare bene i documenti in più.

I modelli provati erano del 2023, e la misura va rifatta su quello che usate. La regola pratica però regge: meglio pochi pezzi giusti che tutto l’archivio. Ogni pezzo in più costa anche memoria e tempo, come abbiamo spiegato in quante persone regge un’AI installata in azienda.

Dove sbaglia, e come si controlla

  • La ricerca non trova il pezzo giusto. Allora la risposta è sbagliata o non arriva. Si misura prima di partire: un elenco di domande vere con la risposta nota, e si conta quante volte il pezzo giusto arriva al modello. È lo stesso principio che vale contro le allucinazioni.
  • I pezzi tagliati male. Una tabella divisa a metà, o una nota staccata dal suo paragrafo, danno risposte a metà.
  • Le versioni. Se nell’indice convivono la procedura vecchia e quella nuova, il modello può citare quella sbagliata. L’indice va aggiornato quando cambiano i documenti, e la versione deve stare nel pezzo.
  • Chi può leggere che cosa. L’assistente non deve far vedere a tutti quello che in cartella vedono in pochi. Per i dati personali il GDPR lo chiede già: le misure devono garantire che, «per impostazione predefinita, non siano resi accessibili dati personali a un numero indefinito di persone fisiche senza l’intervento della persona fisica» (art. 25, paragrafo 2). In pratica la ricerca filtra i pezzi con i permessi di chi fa la domanda, prima che il modello li legga.
  • La citazione. Una risposta con file e pagina si controlla in pochi secondi. Una risposta senza fonte no.

Il nostro modello, misurato

Il modello grande che usiamo è a pesi aperti, della famiglia Qwen. Il 14 ottobre 2026, su una nostra workstation, ha letto circa 12.300 token al secondo con una richiesta sola da circa 96.000 token. La velocità di lettura, quindi, c’è; ma leggere di più non vuol dire rispondere meglio. Il lavoro vero è scegliere che cosa fargli leggere, e poter controllare dopo da dove viene ogni risposta.

Se avete procedure, manuali o contratti su cui i colleghi fanno sempre le stesse domande, il passo è uno: scriveteci quali documenti sono e quali domande tornano.

Scritto con l’aiuto dell’AI e verificato da CSIDIA.

Fonti