Gemma 4 E2B QAT UD-Q4_K_XL, vocabulaire taillé FR+EN — palier L de la correction
2 620 Mo → 2 005 Mo, 615 Mo retirés. 98 fautes sur 104, zéro mot abîmé, sur carte comme sur processeur : 1 369 Mo de VRAM et 894 de RAM hôte sur carte, 2 081 Mo de RAM sur processeur seul.
Il remplace notre ancien palier L (Gemma 4 E4B IQ3_XXS taillé, 2 973 Mo) : même justesse à une faute près (98 contre 99), un tiers plus léger partout, 2,2 fois plus rapide sur processeur et 36 % sur carte. La quantification vient de l'entraînement sensible à la quantification (QAT) de Google, reprise en GGUF dynamique (UD) par Unsloth.
Origine et licence
- Modèle : google/gemma-4-E2B-it, version QAT de Google, publié par Google DeepMind sous licence Apache 2.0.
- Quantification GGUF :
gemma-4-E2B-it-qat-UD-Q4_K_XL.ggufde unsloth/gemma-4-E2B-it-qat-GGUF (Unsloth, Apache 2.0), SHA-256 publié vérifié avant modification. - Ce fichier en est une œuvre dérivée, distribuée sous la même licence Apache 2.0 : le vocabulaire a été réduit, aucun poids n'a été modifié. Gemma est une marque de Google.
Ce qui a été modifié
Sur les 262 144 jetons du vocabulaire Gemma, 103 311 ont été retirés (−39,4 %) : ceux
dont l'écriture n'est ni latine ni compatible avec le français ou l'anglais. Les lignes
d'embedding correspondantes disparaissent de token_embd.weight et de
per_layer_token_embd.weight — cette seconde table, propre à Gemma 4, est indexée par le
jeton elle aussi. Les fusions BPE sont filtrées en conséquence, les jetons spéciaux
renumérotés. Aucun poids n'est touché : ni réentraînement, ni requantification.
La même coupe, appliquée aux autres Gemma de nos paliers, rend un texte strictement identique à l'original sur onze courriels portant 104 fautes étiquetées (décodage glouton, donc jetons identiques).
llama.cpp laisse les tables de vocabulaire côté processeur même quand tout le reste part
sur la carte : la coupe réduit donc surtout la RAM hôte. Pour les pousser sur la
carte : --override-tensor "token_embd\.weight=CUDA0,per_layer_token_embd\.weight=CUDA0".
Mesures
Onze courriels, 104 fautes étiquetées ; RTX 5090 (Vulkan) et Ryzen 7 7800X3D (16 fils) ; llama.cpp, contexte 8 192, raisonnement désactivé, température 0. Mémoire : allocations déclarées par llama.cpp.
| Fichier | Mode | Disque | Fautes /104 | Mots abîmés | VRAM | RAM | 11 courriels | Génération |
|---|---|---|---|---|---|---|---|---|
| Ce fichier (QAT UD-Q4_K_XL taillé) | carte | 2 005 Mo | 98 | 0 | 1 369 Mo | 894 Mo | 5,8 s | 321 j/s |
| Ce fichier (QAT UD-Q4_K_XL taillé) | processeur | 2 005 Mo | 98 | 0 | 0 | 2 081 Mo | 57,6 s | 36,3 j/s |
| Ancien L (E4B IQ3_XXS taillé) | carte | 2 973 Mo | 99 | 0 | 2 249 Mo | 1 083 Mo | 9,1 s | 217 j/s |
| Ancien L (E4B IQ3_XXS taillé) | processeur | 2 973 Mo | 99 | 0 | 0 | 3 115 Mo | 128 s | 16,2 j/s |
La QAT UD-Q2_K_XL du même modèle, essayée aussi, a été écartée : 62 à 67 fautes sur 104 et 80 à 105 mots abîmés.
Pourquoi ce dépôt
La Touche Carré est un assistant d'écriture Windows qui ne sort jamais le texte de la machine : dictée et correction tournent en local. Chaque palier du produit a son dépôt, pour que l'adresse de téléchargement soit stable et vérifiable.
Toutes les mesures citées viennent de nos propres bancs : onze courriels portant 104 fautes étiquetées pour la correction.