GLM-5.3: sedici benchmark, zero sulla sicurezza

Il 28 agosto 2026 l’organizzazione zai-org — Z.ai, ex Zhipu AI — ha pubblicato su Hugging Face i pesi di GLM-5.3. Nel commit iniziale, verificato sulla cronologia pubblica, la scheda si descriveva così: «GLM-5.3: Frontier Coding with Emergent Cyber Capabilities» — GLM-5.3: programmazione di frontiera con capacità cyber emergenti — una frase poi tolta nelle revisioni successive ma presente nella versione pubblicata quel giorno. Il salto rivendicato è misurabile: più del doppio del predecessore sui benchmark di sfruttamento informatico. Per chi valuta il modello per un caso d’uso di sicurezza o difesa, la domanda non è se il salto sia reale, ma che cosa nella scheda misuri quanto sia sicuro metterlo in esercizio. Verificato voce per voce: niente.

I fatti, in ordine

16 giugno 2026 — GLM-5.2 esce con licenza MIT. Il 17 luglio CAISI, l’ente del NIST che valuta i modelli di frontiera, ne pubblica una valutazione indipendente che abbiamo verificato riga per riga: il modello rifiuta la maggior parte delle richieste di attacco poste come domanda diretta, ma non ne rifiuta nessuna se lo stesso compito arriva a un agente con gli strumenti in mano.
14 agosto 2026 — Z.ai rende disponibile GLM-5.3 solo attraverso i propri servizi ospitati, il GLM Coding Plan e ZCode, senza pesi scaricabili. La documentazione ufficiale scrive: «GLM-5.3 is now available to all GLM Coding Plan users» — GLM-5.3 è ora disponibile per tutti gli utenti del GLM Coding Plan — senza una data per l’API o i pesi.
Una testata di settore attribuisce a Z.ai una dichiarazione non rintracciata da noi su un canale ufficiale dell’azienda: «API access and open weights will be released in stages following rigorous safety evaluations» — l’accesso via API e i pesi aperti arriveranno per fasi, a seguito di rigorose valutazioni di sicurezza. La trattiamo come dichiarazione di terza mano, non come documento verificato alla fonte.
26 agosto 2026 — Z.ai pubblica i pesi di GLM-5.3-Flash con licenza MIT, come avevamo verificato qui.
28 agosto 2026, ore 15:00 UTC — pubblicazione dei pesi di GLM-5.3, non Flash. Architettura, dal file di configurazione: 78 strati, 256 esperti instradati più uno condiviso, otto attivi per ogni token, finestra di contesto 1.048.576 token — la stessa cifra già misurata su GLM-5.2, coerente con la dichiarazione della scheda che «GLM-5.3 uses the same base model as GLM-5.2». Su disco: 141 file safetensors, 755,6 GB — 703,7 GiB — un totale che né la scheda né il file di configurazione riducono a un unico numero di parametri; la stampa di settore lo arrotonda a circa 753 miliardi.
Licenza: non MIT come la sorella Flash, ma una licenza propria («GLM-5.3 License») con le stesse libertà d’uso e redistribuzione commerciale; unica condizione, per chi supera i 10 miliardi di dollari di ricavi annui in servizi «Model as a Service» — «must pass Z.AI’s security review before using the Software or its derivative works for any commercial purpose» — deve superare una verifica di sicurezza di Z.AI prima di usare il software o le sue opere derivate per qualunque scopo commerciale. Sotto quella soglia, nessuna verifica è richiesta.

Sedici benchmark, nessuno sulla sicurezza

La scheda riporta sedici benchmark, usati dal produttore per rivendicare il salto su GLM-5.2. Le sedici righe si dividono in tre sole famiglie: programmazione e ingegneria del software (Terminal-Bench 2.1 e 3.0, DeepSWE, NL2Repo, ProgramBench, FrontierSWE, SWE-Marathon, PostTrainBench), cybersicurezza offensiva e difensiva (CyberGym, ExploitGym, ExploitBench), e uso di strumenti e compiti agentici generici (Toolathlon, AutomationBench, Agents’ Last Exam, HLE w/ Tools, GDPval-AA). Verificato riga per riga: nessuna misura la resistenza a un uso improprio, la coerenza dei rifiuti o l’affidabilità fattuale. Il campo language della scheda, nel testo YAML, dichiara solo en e zh: nessun’altra lingua compare, né come addestramento né come valutazione.

Sulla capacità cyber la scheda è esplicita quanto la tabella: «As we scaled post-training, cyber capability developed faster than we expected» — via via che scalavamo il post-training, la capacità cyber si è sviluppata più velocemente di quanto ci aspettassimo — seguita dalla rivendicazione di essere «state of the art on CyberGym for vulnerability discovery», stato dell’arte su CyberGym per la scoperta di vulnerabilità. Sui numeri: CyberGym sale a 84,5 dal 77,2 di GLM-5.2; ExploitBench, un punteggio di copertura su 41 prove, sale a 54,4 dal 24,4; su ExploitGym, 869 prove con budget di due o sei ore, GLM-5.3 ne risolve 105 e 130, contro le 29 e 39 del predecessore. Sono cifre del produttore: non abbiamo eseguito il modello.

Il repository ospita anche una cartella .eval_results, che alimenta l’etichetta “eval-results” nei metadati pubblici del modello. Contiene quattro file: uno per DeepSWE, uno per HLE, due per Terminal-Bench. Verificato sulla cronologia dei commit: sono stati aggiunti fra il 28 e il 31 agosto con commit intitolati «community evaluation results», che portano come coautori due membri dello staff di Hugging Face accanto all’account di zai-org, e riportano solo cifre già presenti nella tabella della scheda. La struttura pensata per rendere verificabile un risultato copre, di fatto, un quarto delle sedici prove pubblicate — e nessuna riguarda la sicurezza.

La verifica dichiarata, non pubblicata

Sul repository pubblicato il 28 agosto non c’è traccia delle «rigorous safety evaluations» che la dichiarazione di terza mano attribuisce a Z.ai: nessun file, nessuna sezione della scheda, nessuna clausola della licenza le nomina. Il rapporto tecnico della famiglia — arXiv 2602.15763, «GLM-5: from Vibe Coding to Agentic Engineering», quaranta pagine, la stessa fonte già citata per GLM-5.3-Flash — non fa eccezione: scaricato e interrogato per intero, non contiene una sola occorrenza delle parole «safety», «red team», «misuse», «risk» o «guardrail». Le poche parole vicine che vi compaiono sono tecniche: «alignment» indica le fasi di post-addestramento, «bias» lo scarto di ottimizzazione, e in un caso il nome di un’azienda. Descrive invece la pipeline di addestramento — 27.000 miliardi di token, classificatori contro i contenuti sintetici, filtri separati per web, codice e materiale scientifico — senza indicare le fonti effettive né come sono trattati dati personali o protetti da copyright.

Per GLM-5.2 la valutazione di sicurezza non è arrivata dal produttore: è arrivata da CAISI, che ha misurato zero rifiuti su dieci quando la stessa richiesta di attacco passa da domanda diretta a compito agentico, notando che sui capitoli di sicurezza il produttore non aveva pubblicato risultati propri. A tre giorni dalla pubblicazione dei pesi di GLM-5.3 — un modello che il produttore stesso descrive più capace del predecessore proprio sulle prove di sfruttamento — l’elenco pubblico delle valutazioni CAISI, verificato sul sito del NIST, si ferma a GLM-5.2 e a Kimi K3: nessuna voce per GLM-5.3. Non significa che non arriverà: significa che, a questa data, non è ancora arrivata, mentre il modello è già scaricabile ed eseguibile in proprio, e la licenza non impone verifiche a chi resta sotto quella soglia.

Cosa fare, in pratica

Non trattate «rigorous safety evaluations» come una prova: è una dichiarazione di terza mano, non un documento. Chiedete al fornitore il rapporto, non l’annuncio.
Se il caso d’uso prevede un agente con strumenti, non solo una chat, verificate voi la capacità di sfruttamento e la resistenza al dirottamento: la scheda non lo fa, e GLM-5.2 mostra che il comportamento cambia tra le due modalità.
Non scambiate i quattro file di .eval_results per un audit: sono numeri di programmazione aggiunti dopo la pubblicazione, non una valutazione nuova.
Se il vostro contesto richiede una verifica in lingue diverse da inglese e cinese, tenete conto che la scheda non ne dichiara nessuna: la prova in italiano o in un’altra lingua europea resta interamente a vostro carico.
Registrate versione, hash e data di acquisizione dei pesi: se arriverà una valutazione indipendente, saprete a quale checkpoint si riferisce.

Il salto che GLM-5.3 rivendica sui benchmark di sfruttamento è reale sulla tabella del produttore; la verifica su quanto sia sicuro metterlo in produzione esiste, per ora, solo come frase riportata. Sono due registri diversi — che cosa il modello sa fare, e come si comporta quando qualcuno prova a fargli fare la cosa sbagliata — e solo il secondo dice se conviene adottarlo prima che lo verifichi qualcun altro al posto vostro.

State valutando un modello a pesi aperti con capacità cyber dichiarate per un caso d’uso agentico? Parliamone in una sessione di trenta minuti: verifichiamo scheda, licenza e comportamento reale prima che la decisione la prenda un capitolato senza queste risposte.

I fatti, in ordine

Sedici benchmark, nessuno sulla sicurezza

La verifica dichiarata, non pubblicata

Cosa fare, in pratica

Fonti