IT EN
Avvia una prova

Note operative Osservatorio

276 miliardi di parametri, 12 attivi: che cosa serve davvero per farlo girare in casa

7 min di lettura

Favo di cera fotografato da vicino: migliaia di celle esagonali vuote, in bianco e nero
Duecentocinquantasei celle costruite, sei percorse a ogni passaggio: la memoria si paga tutta, il calcolo no.

Oggi, 31 luglio 2026, Thinking Machines Lab ha pubblicato i pesi di Inkling-Small, modello multimodale a licenza Apache 2.0. La pagina di prodotto lo presenta con una frase che è già un argomento di vendita: eguaglia il fratello maggiore su molti benchmark a un quarto della dimensione, con costo e latenza inferiori. I due numeri di intestazione sono 276 miliardi di parametri totali e 12 miliardi attivi. Non misurano la stessa cosa e non finiscono nella stessa voce di budget: uno dice quanta memoria dovete comprare, l’altro quanto costa ogni token. Confonderli è il modo più rapido per sbagliare un dimensionamento di sei cifre.

Che cosa è dichiarato

  • Architettura: trasformatore decoder-only a 42 livelli con dorsale Mixture-of-Experts sparsa. Ogni token viene instradato a 6 esperti su 256, più 2 esperti condivisi attivi sempre. Attenzione ibrida, locale e globale.
  • Ingressi: testo, immagini (lato ottimale fra 40 e 4096 pixel) e audio (WAV a 16 kHz, idealmente sotto i due minuti). Uscita: solo testo.
  • Numerica: BF16 e NVFP4, in due repository distinti. Esecuzione locale: SGLang, vLLM, TokenSpeed, Unsloth e Hugging Face Transformers, ciascuno con la propria ricetta indicata nella scheda.
  • Contesto: la scheda del modello non dichiara la finestra di contesto. Il milione di token sta sulla pagina di prodotto, che nello stesso riquadro precisa 64K / 256K su Tinker, la piattaforma del produttore. Sono due informazioni diverse.

Totali e attivi: due numeri, due voci di costo

I parametri attivi determinano il calcolo per token: da lì vengono velocità e consumo per risposta, ed è la ragione per cui un modello sparso da 12 miliardi attivi risponde come un denso di quella taglia. I parametri totali determinano la memoria: devono stare tutti da qualche parte, e devono essere raggiungibili in fretta. Davanti a «12 miliardi attivi» la tentazione è dimensionare su dodici. Non funziona, e la ragione sta nell’architettura appena citata: l’instradamento cambia a ogni token. I sei esperti che servono al token successivo non sono quelli di adesso, e tenere residente solo la parte attiva significa andare a prendere altrove i pesi mancanti a ogni passo.

I byte, a differenza delle cifre tonde, si misurano. L’API pubblica di Hugging Face dice che il repository in BF16 occupa 531.944.513.947 byte, circa 531,9 GB, e la variante NVFP4 170.764.725.303 byte, circa 170,8 GB: un fattore 3,1. Il dettaglio della versione compressa è istruttivo: 251.255.586.816 valori a 4 bit, più 15.703.474.176 fattori di scala in FP8 — esattamente uno ogni sedici valori, com’è previsto dal formato NVFP4 di NVIDIA, che NVIDIA documenta come 4,5 bit per valore e che gli acceleratori eseguono nativamente dall’architettura Blackwell in poi. E 14.700.842.072 parametri restano in BF16: la quantizzazione non tocca tutto. Media sul file, poco più di cinque bit per parametro. Sono 170,8 GB di soli pesi, prima della cache del contesto, delle attivazioni e di quel che aggiunge il motore di inferenza. Il conto dell’hardware non lo rifacciamo qui: sta nella pagina sull’hardware e i modelli a pesi aperti.

Una cosa che non torna, e la diciamo. L’indice dei tensori conta 265.956.439.090 parametri, quasi 266 miliardi e non 276; la dimensione del file in BF16 lo conferma, perché sono esattamente due byte a parametro. Lo scarto è del 4% circa e non ne abbiamo una spiegazione verificata: può dipendere da come il produttore conta, da tensori non pubblicati o dagli encoder multimodali. Se quel numero vi serve per dimensionare, usate i byte.

Che cosa si perde a rimpicciolire

La tabella delle valutazioni pubblicata dal produttore è più onesta del comunicato, e va letta in verticale. Su SWEBench Verified Inkling-Small dichiara 80,2% contro il 77,6% del fratello da 975 miliardi: il piccolo sta sopra. Su GPQA Diamond 89,5% contro 87,2%; su audio e visione i due sono appaiati. Poi si arriva alla fattualità e il segno si inverte: SimpleQA Verified 20,6% contro 43,9%, indice AA Omniscience −9,0 contro +2,1. È il prezzo dei parametri totali: la conoscenza memorizzata sta lì, e togliendone due terzi se ne perde una parte.

È la riga che conta di più in una decisione di adozione, perché divide due casi d’uso. Se il sistema deve rispondere sui vostri documenti — recupero, estrazione, confronto contro requisiti — la memoria enciclopedica del modello pesa poco: i fatti li fornite voi. Se invece qualcuno pensa di usarlo come oracolo generale, quel 20,6% misura quanto spesso inventerà con sicurezza. Terza lettura, sui compiti agentici di dominio: su Tau 3 Banking il punteggio è 15,5%, e nella stessa tabella il migliore si ferma a 24,3%. Nessuno dovrebbe automatizzare un processo bancario su quei numeri, con nessuno di quei modelli.

Come si legge quella tabella

Le note sotto la tabella valgono quanto la tabella. Il produttore dichiara che i punteggi SWEBench Verified dei propri due modelli vengono da un harness «bash-only» interno, mentre per i modelli esterni usa numeri autodichiarati; su Terminal Bench usa un altro harness interno e segnala di aver azzerato alcune soluzioni contaminate da ricerca web. Sono dichiarazioni corrette e rare, ma non è la stessa prova somministrata a tutti. Vale qui quello che vale per ciò che un rapporto tecnico dichiara e ciò che tace: le uniche misure su cui potete decidere sono quelle che rifate voi, sui vostri dati.

Licenza aperta, e una policy d’uso a parte

La licenza è Apache 2.0, e questo chiude le domande che una licenza personalizzata come quella di Kimi K3 lascia aperte: niente soglie di fatturato, niente accordo separato. Ma la scheda rimanda anche a una Model Acceptable Use Policy, aggiornata al 15 luglio 2026, che si dichiara vincolante per chi «accede, scarica o usa» i materiali e che estende la responsabilità a valle: chi lascia usare il modello ad altri attraverso i propri prodotti risponde anche della loro conformità. Il documento non menziona Apache 2.0 e non spiega come le due cose convivano. Per un ufficio acquisti è una riga da far leggere al legale prima dell’installazione.

Cosa fare, in pratica

  • Dimensionate sulla memoria dei parametri totali: il numero da mettere a capitolato sono i byte del file, 170,8 GB per la variante compressa e 531,9 GB per quella in BF16, entrambi al netto della cache del contesto.
  • Fate scrivere nel contratto in quale formato numerico il modello verrà eseguito e su quali acceleratori: NVFP4 è nativo su Blackwell, dove non lo è si ricade sul BF16 e la memoria si triplica.
  • Non usate il milione di token per dimensionare finché non lo avete verificato sul vostro motore: la pagina di prodotto stessa indica finestre molto più corte.
  • Decidete prima se il caso d’uso vive sui vostri documenti o sulla conoscenza del modello. Nel secondo caso il divario di fattualità è la voce di rischio principale.
  • Rifate le prove che vi interessano con un vostro insieme di valutazione: i numeri della tabella non sono tutti prodotti allo stesso modo, e il produttore lo dichiara.

Come lo risolviamo noi

Un modello che sta in poche centinaia di gigabyte è installabile quasi ovunque, e questo è precisamente il problema: la facilità di installazione non dice niente su chi vede i dati mentre gira. Per questo consegniamo in due modalità e nessun’altra: on-premise nell’ambiente del cliente, oppure sul nostro cloud dedicato — riservato al singolo cliente, accesso via VPN dedicata, data center residente in Italia, locali che presidiamo direttamente. In entrambe il modello è un componente sostituibile e non un impegno permanente, com’è già stato per i rilasci precedenti che abbiamo valutato: è l’impianto che si costruisce prima di scegliere quali pesi ci girano dentro.

Dovete stimare che cosa serve per tenere in casa un modello sparso da qualche centinaio di miliardi di parametri? Mezz’ora con un nostro esperto: partiamo dai byte misurati e dal vostro volume reale, non dalle cifre del comunicato.

Fonti