IT EN
Avvia una prova

Note operative Metodo

Accuratezza dell’AI: come si legge il numero che vi dà un fornitore?

5 min di lettura

Se state valutando un’intelligenza artificiale per leggere documenti, smistare richieste o controllare pratiche, prima o poi qualcuno vi mostrerà una percentuale: accuratezza del 95, del 98, del 99%. Su quel numero deciderete se comprarla, e da solo non dice quasi niente. Una percentuale vale per i documenti su cui è stata misurata, per il modo in cui è stata contata e per la versione del sistema di quel giorno. Senza queste tre cose non si può confrontare con nient’altro.

Tre numeri veri per lo stesso lavoro

Lo mostriamo con le nostre misure, prese dal progetto che legge manuali di macchine e ne estrae codici e valori.

  • L’11 ottobre 2026, su dieci manuali pubblici di altri costruttori mai visti prima, 1.174 pagine, abbiamo controllato 50 pagine estratte a caso: ritrovato il 98,4% dei codici e dei valori.
  • Il 20 ottobre 2026, su un banco di prova di 40 pagine prese da 40 manuali di terzi, la versione congelata della lettura ha ritrovato il 94,5% dei codici.
  • Sulle stesse 40 pagine, nella stessa prova, il risultato diventa 96,3% se si contano tutti i codici insieme invece di fare la media pagina per pagina.

Nessuno dei tre numeri è sbagliato, e nessuno è l’accuratezza del sistema.

La differenza fra 94,5 e 96,3 è solo aritmetica. Nella media per pagina, una pagina con tre codici di cui uno sbagliato vale 67%, e pesa quanto una pagina con duecento codici letti tutti bene. Contando tutti i codici insieme, quell’errore pesa uno su tutti i codici del banco. Il fornitore sceglie uno dei due modi: voi dovete sapere quale.

Fra 98,4 e 94,5, invece, il confronto non regge: sono pagine diverse, scelte in modo diverso, in due prove a nove giorni di distanza. Vale lo stesso per i numeri di due fornitori misurati su documenti diversi.

Le pagine contano più della percentuale

Il modo più facile per avere un numero alto è misurare su documenti che il sistema ha già visto. Per i modelli linguistici il problema ha un nome, contaminazione: un modello addestrato anche sui casi della prova, e poi misurato su quella prova. Nel 2023 un gruppo di ricercatori dell’Università dei Paesi Baschi e dell’azienda Cohere l’ha descritto così: «Contamination causes an overestimation of the performance of a contaminated model in a target benchmark and associated task with respect to their non-contaminated counterparts», la contaminazione fa sovrastimare le prestazioni del modello su quella prova e su quel compito, rispetto ai modelli non contaminati.

Non è un rischio solo teorico. Nel 2022 due ricercatori dell’Università di Princeton hanno raccolto 20 studi che, in 17 campi di ricerca, avevano trovato errori in 329 articoli scientifici, in alcuni casi con conclusioni «wildly overoptimistic», ottimistiche ben oltre il vero. In ogni campo c’erano errori di questo genere, che chiamano leakage, fuga di dati.

Per questo fra il 5 e l’11 ottobre 2026 abbiamo fatto sette prove con due regole: documenti mai visti prima e metodo fissato prima di ogni prova. In tutto 65 manuali, 5.151 pagine.

Un numero da solo non basta

Una percentuale va messa accanto a quella delle alternative, contate nello stesso modo. Nella prova dell’11 ottobre i migliori programmi di lettura che avevamo provato, usati da soli, si fermavano all’81,4% e al 67,8%. E c’è un numero che spesso manca: quante volte il sistema non ha risposto affatto. In quella prova le richieste al modello sono state 6.904, nessuna fallita.

Che cosa chiede l’AI Act

Per i sistemi di AI ad alto rischio la legge europea vuole il numero e il suo contesto. Le istruzioni per l’uso devono indicare «il livello di accuratezza che ci si può attendere, comprese le metriche», e «qualsiasi circostanza nota e prevedibile che possa avere un impatto sul livello atteso di accuratezza» (art. 13, paragrafo 3, lettera b), punto ii)). E ancora: «I livelli di accuratezza e le pertinenti metriche di accuratezza dei sistemi di IA ad alto rischio sono dichiarati nelle istruzioni per l’uso che accompagnano il sistema» (art. 15, paragrafo 3). Questi obblighi valgono dal 2 dicembre 2027 per i sistemi dell’allegato III e dal 2 agosto 2028 per quelli dell’allegato I, sezione A (art. 2, paragrafo 2, e art. 113, nel testo modificato dal Regolamento (UE) 2026/1744).

Per i sistemi che non sono ad alto rischio queste regole non valgono, ma le stesse domande si possono fare comunque, e scrivere nel contratto.

Prima di firmare

  1. Su quali documenti? Vostri o del fornitore, nuovi o già visti dal sistema, quanti e scelti come.
  2. Contata come? Che cosa conta come risposta giusta, e se è una media per documento o il totale.
  3. Con quale versione, e quando? Se il modello cambia, la misura va rifatta.
  4. Gli errori, uno per uno. La percentuale non dice quali sono: un valore sbagliato in una coppia di serraggio non pesa come una virgola in una descrizione.
  5. Contro che cosa? Le alternative, sugli stessi documenti e con lo stesso conteggio.

È lo stesso banco che serve per scegliere fra un grande modello generalista e un modello a pesi aperti rifinito sul vostro lavoro. Noi siamo convinti che su un compito preciso vinca il secondo, e le misure pubblicate lo sostengono, come abbiamo scritto in un modello piccolo può battere i grandi modelli?. Ma sul vostro compito lo dice il vostro banco. E con un modello che gira su una macchina vostra la misura si rifà quando volete, sulla versione che avete scelto voi. Le altre domande da fare a chi vi propone un’AI sono in che cosa chiedere a un fornitore di AI.

Se avete davanti una percentuale e non sapete come è stata misurata, il passo è uno: scriveteci il numero e su quali documenti ve l’hanno dato.

Scritto con l’aiuto dell’AI e verificato da CSIDIA.

Fonti