IT EN
Avvia una prova

Note operative Metodo

Quante persone regge un’AI installata in azienda? Come si fa il conto

5 min di lettura

Se state valutando una macchina per usare l’intelligenza artificiale sui documenti che non possono uscire dall’azienda, una delle prime domande sarà: quante persone potrà servire? Il numero dei dipendenti, però, dice poco. Contano tre cose: quante richieste arrivano nello stesso momento, quanto testo deve leggere il modello per ognuna e quanto ne deve scrivere. Con questi tre dati il conto si fa, e si può controllare prima di comprare.

Leggere e scrivere sono due lavori diversi

Un modello di linguaggio lavora a token, cioè a pezzi di parola. Per ogni richiesta fa due cose. Prima legge tutto quello che riceve, la domanda e i documenti allegati: questa parte va veloce, perché il testo si elabora in blocco. Poi scrive la risposta, un token dopo l’altro, e qui conta soprattutto quanto è veloce la memoria della scheda grafica, più del calcolo. La documentazione di vLLM, il programma open source che usiamo anche noi per servire il modello, distingue proprio così le due fasi: una limitata dal calcolo, l’altra dalla memoria.

Le nostre misure lo mostrano bene. Su una nostra workstation, il 14 ottobre 2026, il modello ha letto circa 11.000 token al secondo in tutto, lavorando insieme 12 richieste da circa 100.000 token l’una. In scrittura è passato da 200 token al secondo con una richiesta sola a 1.345 in tutto con 32 richieste corte insieme. Più richieste insieme fanno rendere di più la macchina, ma ognuna, presa da sola, va più piano.

Il limite vero è la memoria delle richieste in corso

Il file del modello occupa una parte fissa della memoria della macchina: per questo conta il numero totale dei parametri, non solo quelli che lavorano a ogni passo. Il resto serve alle richieste in corso. Ogni richiesta tiene in memoria quello che ha letto e scritto fin lì, e quello spazio cresce con la lunghezza del testo. Gli autori di vLLM lo scrivono nel loro articolo scientifico: la memoria di ogni richiesta, la cosiddetta cache KV, «is huge and grows and shrinks dynamically», è enorme, e cresce e cala di continuo.

Quando lo spazio finisce, il programma mette da parte alcune richieste e le ricalcola più tardi. La documentazione avverte che succede quando «KV cache space is insufficient to handle all batched requests», lo spazio non basta per tutte le richieste in lavorazione, e che questo può allungare i tempi di risposta. In pratica: molte domande corte stanno insieme senza problemi; poche richieste su documenti lunghi riempiono la memoria, e le altre aspettano.

Che cosa reggono le due macchine su cui lavoriamo

Usiamo un modello a pesi aperti della famiglia Qwen, con circa 180 miliardi di parametri in tutto, in una versione compressa. Gira su un server NVIDIA GB300 e, dal 14 ottobre 2026, anche sulla workstation, che ha due schede NVIDIA RTX PRO 6000 Blackwell Max-Q da 96 GB di memoria ciascuna. Stesso modello, due macchine molto diverse:

  • il server GB300: il programma accetterebbe fino a 256 richieste insieme, ma la capacità utile, misurata in una prova del 12 ottobre 2026, è di 40, e oltre non andiamo. Con circa 25 sessioni di lavoro insieme (ognuna è un lavoro lungo che manda al modello una richiesta dopo l’altra) scrive circa 2.900 token al secondo in tutto, circa 114 per sessione;
  • la workstation: regge circa 8 sessioni di lavoro lunghe insieme, a una velocità per sessione vicina a quella che il GB300 dà con 25-30.

Sotto carico pieno le due schede della workstation lavorano a 300 W, che secondo NVIDIA è il loro consumo massimo, a 84-88 °C e senza rallentamenti per il calore (misura del 14 ottobre). È una domanda da fare a chiunque vi proponga una macchina: quanto consuma a pieno carico, e se rallenta quando si scalda.

Come si fa il conto per la vostra azienda

  1. Le richieste nel momento di punta, non le persone. Contate quante persone userebbero l’AI nello stesso momento, nell’ora più carica, e quante richieste manda ognuna. Chi fa una domanda e poi legge la risposta occupa la macchina solo mentre il modello lavora.
  2. Quanto testo per richiesta. Una domanda sulle procedure interne con poche pagine di contesto pesa poco. Un contratto intero da confrontare con un capitolato pesa molto di più, e occupa memoria per tutta la durata della risposta.
  3. L’attesa che accettate. Due tempi: quanto passa prima che compaia la prima parola, e quanto dura la risposta intera. Decideteli prima, per tipo di lavoro.
  4. Una prova a carico crescente, con documenti simili ai vostri. Si parte da una richiesta, poi se ne mandano sempre di più insieme, e si guardano tre numeri: la velocità totale, la velocità di ogni richiesta e il punto in cui le richieste cominciano ad aspettare.
  5. Il margine. Sulla stessa macchina possono girare altri programmi, per esempio la ricerca nei documenti, e l’uso cresce quando l’AI comincia a servire davvero. Non dimensionate al limite.

Che cosa i nostri numeri non dicono

Le nostre sono sessioni di lavoro lunghe su documenti, non persone che fanno domande in una chat: con domande brevi la stessa macchina serve più richieste insieme, ma quante, va misurato. E valgono per quel modello, in quella versione compressa e con quel programma, fra il 12 e il 14 ottobre 2026: se cambia uno dei tre, i numeri cambiano. Per scegliere una macchina servono numeri presi sul vostro lavoro, non sul nostro.

Se dovete scegliere una macchina per l’AI, o ne avete già una e non sapete quante persone può servire, il passo è uno: scriveteci quante persone la userebbero e su quali documenti.

Scritto con l’aiuto dell’AI e verificato da CSIDIA.

Fonti