Imajev-4B — vollständige Serie, 21 Stufen
Vollständiger Quantisierungs-Sweep dieses Decision-Modells, gebaut am 2026-10-04. Drei Familien, ein Aufruf je Stufe, keine Handarbeit.
⚠️ Diese Dateien sind GEBAUT, nicht GEMESSEN
Das ist der wichtigste Satz auf dieser Karte.
Geprüft wurde eine Sache: jede Datei ist kleiner als ihre f16-Quelle
(gate_quantized(), −47 % bis −85 %). Das fängt Quantisierungen ab, die
in Wahrheit gar nicht stattfinden — es sagt aber nichts über Qualität.
Nicht gemessen wurde:
- Perplexität
- Decision-Readout gegen Gold-Antworten
- Verteilungsabweichung gegen die unquantisierte Referenz
- welche Stufe dieses Modell tatsächlich trägt
Eine Datei in diesem Repo ist ein Kandidat, kein Ergebnis. Die vergleichende Messung läuft in haddock-development/quantization.
Was hier drin ist
| Familie | Stufen | Technik |
|---|---|---|
| K-Quant | Q3_K_S … Q8_0 (9) | ohne i-Matrix |
| IQ-Quant | IQ2_XXS … IQ4_NL (10) | mit Importance-Matrix |
| Ternarisierung | TQ2_0, TQ1_0 (2) | Ternarisierung |
| Unsloth | IQ1_XXXS, IQ1_XXS, IQ1_XS (3) | nur der Unsloth-Build kann die |
Die IQ-Stufen wurden mit einer Importance-Matrix gebaut, die aus einem
aufgabenspezifischen Kalibriersatz stammt — 15 Temperatur-Buckets aus
calibration.json, 3 Fragetypen × 5 Optionsmengen. Das ist gemessen relevant:
Mit einem anderen Kalibriersatz ändert sich, welche Gewichte geschützt
werden, und die Rangfolge kippt.
Nicht drin, und warum
Q4_0, Q5_0, Q5_1 |
Legacy, vor den K-Quants. −3× schlechter bei weniger Bit |
Q2_K, Q2_K_S |
+3,5 PPL laut llama.cpp. Liefert keine Optionsbuchstaben |
| Lookup-Table | das Werkzeug legt in diesem Build nichts ab |
Vision
Dieses Modell ist multimodal. Für Bilder braucht es zwei Dateien:
-m modell-Q4_K_M.gguf --mmproj modell-mmproj-f16.gguf
Ohne die Projektion antwortet der Server mit image input is not supported, auch wenn das Modell lädt.
Empfehlung
Fang mit Q4_K_M. Es ist der übliche Kompromiss aus VRAM und Qualität. Wenn du weniger Speicher brauchst, geh auf IQ4_XS — das ist die IQ-Variante mit derselben Bitrate, aber mit Importance-Matrix.
Und: Q8_0 als Referenz, wenn du vergleichen willst. Ohne
Referenz ist jede Zahl bedeutungslos.