Addestrare l’AI sui documenti aziendali o farglieli leggere? Come si sceglie

Se volete un’intelligenza artificiale che conosca la vostra azienda, prima o poi qualcuno vi proporrà di addestrarla sui vostri documenti. È una delle due strade. L’altra è lasciare il modello com’è e fargli leggere i documenti giusti quando arriva la domanda. Sembrano due modi di fare la stessa cosa, ma risolvono due problemi diversi: scegliere quella sbagliata vuol dire spendere senza ottenere quello che vi serviva.

Due problemi diversi

Il primo problema è che cosa il modello deve sapere: le procedure in vigore, il listino, le clausole di un contratto, la scheda di un prodotto. Sono fatti, cambiano, e per fidarvi della risposta dovete poter vedere da quale documento viene. A questo serve la ricerca nei documenti, in inglese retrieval-augmented generation (RAG), che abbiamo spiegato in come fa un’AI a rispondere sui documenti aziendali.

Il secondo è che cosa il modello deve saper fare: classificare una richiesta, estrarre i campi da una scheda, controllare un testo contro una regola, rispondere nel formato che vi serve. È un lavoro che si ripete, con una risposta giusta che una persona riconosce. A questo serve l’addestramento, il fine-tuning, che su un lavoro stretto fa vincere anche modelli piccoli: ne abbiamo scritto in un modello piccolo, addestrato sul vostro lavoro, può battere i grandi modelli?.

I fatti si fanno leggere: che cosa dicono le misure

Nel 2023 quattro ricercatori di Microsoft hanno messo alla prova le due strade su tre modelli a pesi aperti da 7 miliardi di parametri. Una delle prove era fatta di 910 domande a scelta multipla su fatti avvenuti negli Stati Uniti tra agosto e novembre 2023, dopo l’addestramento dei modelli. Mistral 7B rispondeva giusto nel 48,1% dei casi da solo; nel 50,4% dopo essere stato addestrato sui testi che contenevano le risposte; nel 58,8% quando quei testi erano stati riscritti più volte con parole diverse; nell’87,5% quando poteva leggerli al momento della domanda. La prova favoriva la lettura: le domande erano state scritte proprio da quei testi. Llama 2, addestrato sui testi, è peggiorato: dal 35,3% al 21,9%. Gli autori ne concludono che i modelli «struggle to learn new factual information through unsupervised fine-tuning», faticano a imparare fatti nuovi con l’addestramento sui testi.

Un gruppo di Google Research e del Technion, in uno studio accettato alla conferenza EMNLP 2024, ha addestrato un modello su coppie di domanda e risposta, mettendo fra queste anche fatti che il modello non conosceva. Quegli esempi vengono imparati molto più lentamente degli altri, e man mano che il modello li impara «they linearly increase the model’s tendency to hallucinate», aumentano in proporzione la sua tendenza a inventare. Secondo gli autori i fatti un modello li impara soprattutto nel primo addestramento, mentre quello successivo «teaches them to use it more efficiently», gli insegna a usare in modo più efficiente quello che sa.

Addestrare un modello perché impari il listino o le procedure è la strada più debole: li impara male, non sa dirvi dove li ha letti, e quando cambiano va addestrato di nuovo. I fatti si fanno leggere.

Il lavoro si insegna, e insieme le due strade vanno meglio

Le due strade non si escludono. Nel 2024 un gruppo dell’Università della California a Berkeley ha addestrato Llama 2 da 7 miliardi a rispondere leggendo i documenti di un campo preciso, anche quando fra quelli trovati dalla ricerca c’erano documenti che con la domanda non c’entravano, e a citare il passaggio giusto. Gli autori lo spiegano con un esame: usare solo la ricerca nei documenti è «equivalent to taking an open-book exam without studying», come fare un esame a libro aperto senza aver studiato.

Nel compito di scrivere il codice giusto per usare i modelli di tre archivi pubblici, leggendone la documentazione, il modello piccolo addestrato così ha ottenuto 74, 85 e 87 su 100; GPT-3.5 di OpenAI, con la ricerca nei documenti, 29, 60 e 66. Sulle domande di cultura generale prese da Wikipedia, invece, il modello piccolo è rimasto dietro anche dopo l’addestramento su quelle: 35,3 contro 41,5. Un modello addestrato vince su quel compito quando il compito è stretto, non in tutto. E i modelli provati nei tre studi sono di qualche generazione fa: le misure vanno rifatte su quelli di oggi.

Perché conta per chi ha dati riservati

Tutte e due le strade usano i vostri documenti: una per leggerli, l’altra per imparare dai vostri esempi. Con un modello a pesi aperti su una macchina che controllate, l’indice dei documenti, gli esempi per l’addestramento e il modello che ne esce restano lì. Il modello migliore è quello che potete usare sui vostri dati veri.

Come lo facciamo noi

Nel nostro progetto che legge i manuali delle macchine, la qualità si misura su un banco di prova: 40 pagine prese da 40 manuali pubblici di altri costruttori. Il 20 ottobre 2026 la versione congelata della lettura, con il modello grande a pesi aperti su un server NVIDIA GB300, ha ritrovato il 94,5% dei codici, in 17,1 secondi a pagina e senza errori del modello. Un banco così serve anche a voi per scegliere fra le due strade: si misurano tutte e due, e si tiene la migliore.

Che cosa fare prima di decidere

Scrivete che cosa l’AI deve sapere, con il documento da cui viene ogni fatto, e che cosa deve saper fare, con qualche esempio di risposta giusta.
I fatti fateli leggere, con la citazione: si aggiornano cambiando il documento, non il modello.
Il lavoro che si ripete fatelo imparare, su casi veri con la risposta giusta. Se il lavoro è proprio leggere i vostri documenti, addestrate il modello a leggerli.
Preparate un banco di domande con la risposta nota, che il modello non vede mai durante l’addestramento, e misurate prima e dopo.

Se avete un lavoro sui vostri documenti e non sapete quale strada fa per voi, il passo è uno: scriveteci che lavoro è e su quali documenti.

Scritto con l’aiuto dell’AI e verificato da CSIDIA.