---
title: "276 miliardi di parametri, 12 attivi: che cosa serve davvero per farlo girare in casa"
description: "Thinking Machines pubblica Inkling-Small, Apache 2.0. I byte misurati sul repository, la differenza fra parametri totali e attivi, cosa mettere a capitolato."
url: https://csidia.com/note-operative/inkling-small-parametri-attivi-on-premise/
lang: it
date: 2026-07-31
label: "Osservatorio"
publisher: CSIDIA S.r.l. (https://csidia.com/)
english: https://csidia.com/en/notes/inkling-small-parametri-attivi-on-premise/
---

# 276 miliardi di parametri, 12 attivi: che cosa serve davvero per farlo girare in casa

Oggi, 31 luglio 2026, Thinking Machines Lab ha pubblicato i pesi di **Inkling-Small**, modello multimodale a licenza **Apache 2.0**. La pagina di prodotto lo presenta con una frase che è già un argomento di vendita: eguaglia il fratello maggiore su molti benchmark a un quarto della dimensione, con costo e latenza inferiori. I due numeri di intestazione sono **276 miliardi di parametri totali e 12 miliardi attivi**. Non misurano la stessa cosa e non finiscono nella stessa voce di budget: uno dice quanta memoria dovete comprare, l'altro quanto costa ogni token. Confonderli è il modo più rapido per sbagliare un dimensionamento di sei cifre.

## Che cosa è dichiarato

- **Architettura**: trasformatore decoder-only a 42 livelli con dorsale Mixture-of-Experts sparsa. Ogni token viene instradato a **6 esperti su 256**, più 2 esperti condivisi attivi sempre. Attenzione ibrida, locale e globale.
- **Ingressi**: testo, immagini (lato ottimale fra 40 e 4096 pixel) e audio (WAV a 16 kHz, idealmente sotto i due minuti). Uscita: solo testo.
- **Numerica**: BF16 e NVFP4, in due repository distinti. **Esecuzione locale**: SGLang, vLLM, TokenSpeed, Unsloth e Hugging Face Transformers, ciascuno con la propria ricetta indicata nella scheda.
- **Contesto**: la scheda del modello **non dichiara la finestra di contesto**. Il milione di token sta sulla pagina di prodotto, che nello stesso riquadro precisa 64K / 256K su Tinker, la piattaforma del produttore. Sono due informazioni diverse.

## Totali e attivi: due numeri, due voci di costo

I parametri attivi determinano il calcolo per token: da lì vengono velocità e consumo per risposta, ed è la ragione per cui un modello sparso da 12 miliardi attivi risponde come un denso di quella taglia. I parametri totali determinano la memoria: devono stare tutti da qualche parte, e devono essere raggiungibili in fretta. Davanti a «12 miliardi attivi» la tentazione è dimensionare su dodici. Non funziona, e la ragione sta nell'architettura appena citata: **l'instradamento cambia a ogni token**. I sei esperti che servono al token successivo non sono quelli di adesso, e tenere residente solo la parte attiva significa andare a prendere altrove i pesi mancanti a ogni passo.

I byte, a differenza delle cifre tonde, si misurano. L'API pubblica di Hugging Face dice che il repository in BF16 occupa **531.944.513.947 byte**, circa **531,9 GB**, e la variante NVFP4 **170.764.725.303 byte**, circa **170,8 GB**: un fattore 3,1. Il dettaglio della versione compressa è istruttivo: **251.255.586.816 valori a 4 bit**, più **15.703.474.176 fattori di scala in FP8** — esattamente uno ogni sedici valori, com'è previsto dal formato NVFP4 di NVIDIA, che NVIDIA documenta come 4,5 bit per valore e che gli acceleratori eseguono nativamente dall'architettura Blackwell in poi. E **14.700.842.072 parametri restano in BF16**: la quantizzazione non tocca tutto. Media sul file, poco più di cinque bit per parametro. Sono 170,8 GB di soli pesi, prima della cache del contesto, delle attivazioni e di quel che aggiunge il motore di inferenza. Il conto dell'hardware non lo rifacciamo qui: sta [nella pagina sull'hardware e i modelli a pesi aperti](https://csidia.com/hardware-e-modelli-a-pesi-aperti).

Una cosa che non torna, e la diciamo. L'indice dei tensori conta **265.956.439.090 parametri**, quasi 266 miliardi e non 276; la dimensione del file in BF16 lo conferma, perché sono esattamente due byte a parametro. Lo scarto è del 4% circa e non ne abbiamo una spiegazione verificata: può dipendere da come il produttore conta, da tensori non pubblicati o dagli encoder multimodali. Se quel numero vi serve per dimensionare, usate i byte.

## Che cosa si perde a rimpicciolire

La tabella delle valutazioni pubblicata dal produttore è più onesta del comunicato, e va letta in verticale. Su SWEBench Verified Inkling-Small dichiara **80,2%** contro il **77,6%** del fratello da 975 miliardi: il piccolo sta sopra. Su GPQA Diamond 89,5% contro 87,2%; su audio e visione i due sono appaiati. Poi si arriva alla fattualità e il segno si inverte: **SimpleQA Verified 20,6% contro 43,9%**, indice AA Omniscience −9,0 contro +2,1. È il prezzo dei parametri totali: la conoscenza memorizzata sta lì, e togliendone due terzi se ne perde una parte.

È la riga che conta di più in una decisione di adozione, perché divide due casi d'uso. Se il sistema deve rispondere sui **vostri** documenti — recupero, estrazione, confronto contro requisiti — la memoria enciclopedica del modello pesa poco: i fatti li fornite voi. Se invece qualcuno pensa di usarlo come oracolo generale, quel 20,6% misura quanto spesso inventerà con sicurezza. Terza lettura, sui compiti agentici di dominio: su Tau 3 Banking il punteggio è **15,5%**, e nella stessa tabella il migliore si ferma a 24,3%. Nessuno dovrebbe automatizzare un processo bancario su quei numeri, con nessuno di quei modelli.

## Come si legge quella tabella

Le note sotto la tabella valgono quanto la tabella. Il produttore dichiara che i punteggi SWEBench Verified dei propri due modelli vengono da un harness «bash-only» interno, mentre per i modelli esterni usa **numeri autodichiarati**; su Terminal Bench usa un altro harness interno e segnala di aver azzerato alcune soluzioni contaminate da ricerca web. Sono dichiarazioni corrette e rare, ma non è la stessa prova somministrata a tutti. Vale qui quello che vale per [ciò che un rapporto tecnico dichiara e ciò che tace](https://csidia.com/note-operative/rapporto-tecnico-modello-cosa-dichiara): le uniche misure su cui potete decidere sono quelle che rifate voi, sui vostri dati.

## Licenza aperta, e una policy d'uso a parte

La licenza è Apache 2.0, e questo chiude le domande che [una licenza personalizzata come quella di Kimi K3](https://csidia.com/note-operative/licenza-kimi-k3-cosa-vieta-davvero) lascia aperte: niente soglie di fatturato, niente accordo separato. Ma la scheda rimanda anche a una **Model Acceptable Use Policy**, aggiornata al 15 luglio 2026, che si dichiara vincolante per chi «accede, scarica o usa» i materiali e che estende la responsabilità a valle: chi lascia usare il modello ad altri attraverso i propri prodotti risponde anche della loro conformità. Il documento non menziona Apache 2.0 e non spiega come le due cose convivano. Per un ufficio acquisti è una riga da far leggere al legale prima dell'installazione.

## Cosa fare, in pratica

- Dimensionate sulla memoria dei parametri **totali**: il numero da mettere a capitolato sono i byte del file, 170,8 GB per la variante compressa e 531,9 GB per quella in BF16, entrambi al netto della cache del contesto.
- Fate scrivere nel contratto **in quale formato numerico** il modello verrà eseguito e su quali acceleratori: NVFP4 è nativo su Blackwell, dove non lo è si ricade sul BF16 e la memoria si triplica.
- Non usate il milione di token per dimensionare finché non lo avete verificato sul vostro motore: la pagina di prodotto stessa indica finestre molto più corte.
- Decidete prima se il caso d'uso vive sui vostri documenti o sulla conoscenza del modello. Nel secondo caso il divario di fattualità è la voce di rischio principale.
- Rifate le prove che vi interessano con un vostro insieme di valutazione: i numeri della tabella non sono tutti prodotti allo stesso modo, e il produttore lo dichiara.

## Fonti

- [Hugging Face — thinkingmachines/Inkling-Small-NVFP4, scheda del modello: architettura, parametri, tabella delle valutazioni](https://huggingface.co/thinkingmachines/Inkling-Small-NVFP4)
- API pubblica dei repository Hugging Face, byte occupati e parametri per tipo numerico: [Inkling-Small](https://huggingface.co/api/models/thinkingmachines/Inkling-Small) e [Inkling-Small-NVFP4](https://huggingface.co/api/models/thinkingmachines/Inkling-Small-NVFP4)
- [Thinking Machines Lab — pagina Inkling: parametri e contesto dichiarati per le due taglie](https://thinkingmachines.ai/inkling/)
- [Thinking Machines Lab — Model Acceptable Use Policy, aggiornata al 15 luglio 2026](https://thinkingmachines.ai/model-acceptable-use-policy)
- [NVIDIA — Introducing NVFP4: formato a 4 bit, blocchi da 16 valori, 4,5 bit per valore, supporto nativo su Blackwell](https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/)

Nota di CSIDIA S.r.l. (Vignola, MO): https://csidia.com/note-operative/inkling-small-parametri-attivi-on-premise/ · Chi siamo e che cosa facciamo: https://csidia.com/in-breve/ · engagement@csidia.com