DiffusionGemma 26B-A4B-it — 4 bits mixte (gemma-4-swift-mlx)

Pack pré-quantifié de google/diffusiongemma-26B-A4B-it pour la bibliothèque Swift gemma-4-swift-mlx (MLX, Apple Silicon). C'est le poids du profil de référence a4bdiff/4bit-fast / a4bdiff/4bit-lean.

Format propre à gemma-4-swift-mlx (gemma4-diffusion-prequantized-v1) : ce pack n'est pas un checkpoint mlx-lm / mlx-vlm générique, et les packs mlx-community/diffusiongemma-* ne se chargent pas à sa place. Il garde une seule copie des modules partagés entre encodeur et décodeur, et prequantized.json décrit la quantification de chaque module et la SHA-256 de chaque fichier.

Quantification

Affine 4 bits (groupes de 64) sauf les couches 0-3 et 26-29, les embeddings, la tête et le self-conditioning, en 8 bits. Le 4 bits uniforme demande 2,9× plus de passes de débruitage (43,5 contre 15 par canvas) ; ce mélange revient au nombre de passes du bf16.

Mesures (M3 Max 96 Go, 2026-09-28/29)

Sortie identique à la quantification à la volée depuis le bf16.

Détail et lignes brutes : BENCHMARKS.md du dépôt, section « DiffusionGemma 26B-A4B ».

Utilisation

hf download VincentGOURBIN/diffusiongemma-26B-A4B-it-gemma4swift-4bit-mixed --local-dir <dossier>
gemma4-cli diffusion --model-path <dossier> "Votre prompt"   # pack reconnu via prequantized.json
gemma4-cli bench-diffusion --model-path <dossier> --reference a4bdiff/4bit-fast --workload d1

En Swift, passer le dossier comme modelPath du pipeline de diffusion avec le profil a4bdiff/4bit-fast. Le pack est reproductible depuis le bf16 de Google : gemma4-cli export-diffusion --model-path <bf16> --reference a4bdiff/4bit-fast --out <pack>.

Licence

Apache-2.0, comme le modèle d'origine de Google. Seule la représentation des poids change (quantification affine MLX).