--- title: "Un modello AI compresso a 4 bit funziona come l’originale? Che cosa controllare prima di installarlo" description: "Comprimere un modello AI lo fa stare su meno schede grafiche. Che cosa dicono le misure su quanto si perde, perché la lingua conta e come provarlo in casa." url: https://csidia.com/note-operative/modello-ai-compresso-4-bit-quanto-perde/ lang: it date: 2026-11-05 label: "AI operativa" publisher: CSIDIA S.r.l. (https://csidia.com/) --- # Un modello AI compresso a 4 bit funziona come l’originale? Che cosa controllare prima di installarlo Se state valutando un’AI da installare in azienda, prima o poi qualcuno vi proporrà la versione compressa di un modello: sta su una macchina più piccola, costa meno e risponde più in fretta. Prima di dire sì, la domanda è una: quanto perde, sul vostro lavoro e in italiano? Le misure pubblicate rassicurano, ma con due avvertenze. ## Che cosa vuol dire comprimere un modello Un modello è fatto di miliardi di numeri, i pesi. Di solito ogni peso occupa 16 bit, cioè 2 byte: un modello da 70 miliardi di parametri occupa circa 140 GB solo di pesi. Comprimere, in gergo quantizzare, vuol dire scrivere ogni numero con meno bit, per esempio 8 o 4. Il modello è lo stesso, ma ogni numero è un po’ più approssimato. NVIDIA ha un formato a 4 bit per le sue schede Blackwell, NVFP4. Ogni numero occupa 4 bit e ogni gruppo di 16 numeri ha un fattore di scala in più: in tutto, scrive NVIDIA, «4.5 bits per value», *4,5 bit per valore*. La memoria scende di circa 3,5 volte rispetto ai 16 bit e di circa 1,8 volte rispetto agli 8 bit. Sulla scheda di un modello vero il numero cambia. Per la sua versione a 4 bit di DeepSeek-R1, NVIDIA scrive: «Only the weights and activations of the linear operators within transformer blocks are quantized», *sono compressi solo i pesi e le attivazioni delle parti lineari dei blocchi del modello*. Il risparmio rispetto agli 8 bit diventa «approximately 1.6x», *circa 1,6 volte*. Non tutto si comprime, e la memoria che serve davvero sta sulla scheda di quel modello, non nella presentazione del formato. ## Che cosa dicono le misure **Uno studio molto ampio.** Un gruppo di Red Hat e dell’Institute of Science and Technology Austria ha confrontato le versioni compresse e originali dei modelli Llama 3.1 da 8, 70 e 405 miliardi di parametri, con oltre 500.000 valutazioni (ACL 2025). A 8 bit, nel formato a virgola mobile, la compressione è «effectively lossless across all model scales», *in pratica senza perdite a ogni dimensione*. A 4 bit, sui soli pesi, è «more competitive than expected, rivaling 8-bit quantization», *più competitiva del previsto, alla pari con gli 8 bit*. Sul primo gruppo di test, la versione a 4 bit conserva in media il 99,36% del punteggio dell’originale; il caso peggiore è il 96,88%, su un test di veridicità delle risposte, con il modello più piccolo. **Il produttore delle schede.** Per DeepSeek-R1, passando dagli 8 bit a NVFP4, NVIDIA misura «1% or less accuracy degradation», *un calo dell’1% o meno*. Sulla scheda del modello, rispetto ai valori di riferimento a 8 bit, un test di conoscenze passa da 85 a 84,2, uno di domande scientifiche difficili da 81 a 80, uno di matematica sale da 89 a 91,3. Attenzione: il confronto è con la versione a 8 bit, il formato originale di quel modello. **La lingua.** Questi test sono quasi tutti in inglese, e il punteggio lo calcola un programma, non una persona. Un gruppo di Cohere ha guardato le altre lingue (Findings of EMNLP 2024). Su un modello da 103 miliardi di parametri compresso a 4 bit, i test automatici davano in francese un calo dello 0,3%; le persone che hanno giudicato risposte a richieste realistiche, del 16,6% in francese e del 4,6% in spagnolo. La conclusione degli autori: i danni della compressione si vedono nella valutazione umana, «which automatic metrics severely underestimate», *che le metriche automatiche sottostimano molto*. L’italiano era fra le lingue dei test automatici, non fra quelle giudicate da persone. E i compiti difficili peggiorano prima: in un modello da 35 miliardi compresso a 4 bit, nei problemi di matematica il calo è del 13,1% fuori dall’inglese, del 2,2% in inglese. Le due avvertenze: le misure valgono soprattutto per l’inglese, e un programma non vede tutto quello che vede chi legge. ## Come lo facciamo noi Il modello grande con cui leggiamo e analizziamo documenti è Qwen3.8-Flash-Next, a pesi aperti, e lo usiamo nella versione compressa NVFP4 preparata da Inferact. Ha circa 180 miliardi di parametri in tutto: a 16 bit, solo i pesi occuperebbero circa 360 GB. Anche qui non tutto è compresso: i file pubblicati da Inferact pesano circa 183 GB, la metà. Dal 14 ottobre 2026 gira su una nostra workstation con due schede NVIDIA RTX PRO 6000 da 96 GB ciascuna, oltre che su un server NVIDIA GB300. Le nostre misure, come quelle su [quante persone regge una macchina](https://csidia.com/note-operative/quante-persone-regge-ai-installata-in-azienda/), valgono per quella versione, e solo per quella. La compressione aiuta a far stare un modello grande su macchine più piccole. E *il modello migliore è quello che potete usare sui vostri dati veri*: un modello a pesi aperti, rifinito sul vostro lavoro, su quel lavoro fa meglio dei grandi modelli generalisti e resta in casa vostra, come abbiamo raccontato in [un modello piccolo può battere i grandi modelli?](https://csidia.com/note-operative/modello-piccolo-addestrato-sul-compito-batte-grandi-modelli/) Su quel lavoro, non in tutto. E nella versione che userete davvero. ## Che cosa chiedere prima di installarlo 1. **Quale versione.** Il formato (16, 8 o 4 bit, e quale), chi l’ha compressa, che cosa è rimasto non compresso, quanta memoria occupa davvero. 2. **Rispetto a che cosa.** Ogni percentuale di perdita ha un termine di confronto: la versione a 16 bit, quella a 8 o un altro modello. Fatevelo scrivere. 3. **Una prova in italiano.** Sui vostri documenti, con la versione che userete, e con le risposte giudicate da chi conosce il lavoro, non solo da un punteggio. Se si può, la stessa prova con una versione meno compressa: la differenza è il prezzo della compressione. Per leggere i risultati: [come si legge il numero di accuratezza](https://csidia.com/note-operative/accuratezza-ai-come-leggere-numero-fornitore/). 4. **I compiti difficili.** Conti e ragionamenti lunghi: lì la perdita si vede prima. Se vi hanno proposto un modello compresso e volete capire che cosa provare sui vostri documenti, il passo è uno: [scriveteci quale modello e quale versione](https://csidia.com/contatti/). *Scritto con l’aiuto dell’AI e verificato da CSIDIA.* ## Fonti - [Kurtic, Marques, Pandit, Kurtz e Alistarh (Red Hat AI, ISTA), «“Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization», ACL 2025 (arXiv)](https://arxiv.org/abs/2411.02355) - [NVIDIA Technical Blog, «Introducing NVFP4 for Efficient and Accurate Low-Precision Inference», 24 giugno 2025](https://developer.nvidia.com/blog/introducing-nvfp4-for-efficient-and-accurate-low-precision-inference/) - [NVIDIA, scheda del modello DeepSeek-R1-0528-NVFP4: parti compresse, memoria e tabella dei risultati (Hugging Face)](https://huggingface.co/nvidia/DeepSeek-R1-0528-NVFP4) - [Inferact, Qwen3.8-Flash-Next-NVFP4: i file dei pesi, 183 GB in tutto (Hugging Face)](https://huggingface.co/Inferact/Qwen3.8-Flash-Next-NVFP4/tree/main) - [Marchisio e altri (Cohere), «How Does Quantization Affect Multilingual LLMs?», Findings of EMNLP 2024 (arXiv)](https://arxiv.org/abs/2407.03211) Nota di CSIDIA S.r.l. (Vignola, MO): https://csidia.com/note-operative/modello-ai-compresso-4-bit-quanto-perde/ · Chi siamo e che cosa facciamo: https://csidia.com/in-breve/ · engagement@csidia.com