Kohlibri-40B (NVFP4)
NVFP4-Quantisierung (nur Gewichte, W4A16) von johannhartmann/kolibri-40B-de-opd, der deutschsprachigen, auf 192 Experten geprunten und nachtrainierten Variante von Aleph-Alpha/Kolibri-1 (~40B gesamt, ~3,4B aktiv pro Token). Checkpoint: 24.6 GiB statt 75,1 GiB (BF16).
Nur Deutsch. Englisch und andere Sprachen werden nicht unterstützt und nicht getestet.
Quantisierung
- Experten (alle
gate_proj/up_proj/down_proj, ~94 % der Parameter): NVFP4 – E2M1-Werte, FP8-E4M3-Skala je 16er-Block entlang der Eingangsdimension, FP32-Globalskala je Experten-Matrix (gate und up gemeinsam). Blockskala = amax/6 (Round-to-Nearest), ohne Kalibrierdaten und ohne Training (rel. Gewichtsfehler 0.095 gate/up, 0.095 down). - Unverändert BF16: Attention, Shared Expert, Router, Embeddings, LM-Head. Aktivierungen bleiben BF16.
- Format: compressed-tensors
nvfp4-pack-quantized.
Evaluation (eigenes Setup, greedy, vLLM)
| Metrik | BF16 | NVFP4 |
|---|---|---|
| MIF-DE nur DE, ohne Denken (avg) | 73,0 | 74,6 |
| MIF-DE nur DE, Prompt strict | 61,3 | 63,7 |
| MIF-DE nur DE, mit Denken (avg) | 40,7 | 42,6 |
| GermanQuAD EM | 66,7 | 66,6 |
| GermanQuAD F1 | 84,5 | 84,3 |
| GRIPS passed | 41,0 | 41,0 |
| GRIPS finished | 56,5 | 54,0 |
| GSM8K passed | 80,7 | 82,0 |
| GSM8K finished | 96,7 | 94,0 |
- MIF-DE: Marco-Bench-MIF-DE, die 424 Prompts mit deutscher Antwort; IFEval-Prüfer (lm-eval 0.4.13, constrained_response auch mit deutschem Wortlaut), Mittel aus strict/loose × Prompt/Anweisung.
- GermanQuAD: voller Testsplit (2.204 Fragen), Zero-Shot, Antwort als kürzester Textausschnitt, EM/F1 nach Normalisierung.
- GSM8K-DE (150) / GRIPS (200): eigene Held-out-Aufgaben,
reasoning_effort="low", Anteil korrekt („passed“) bzw. beendet („finished“).
Nutzung
pip install 'aleph-alpha-inference>=1'
vllm serve johannhartmann/kolibri-40B-de-opd-NVFP4 --reasoning-parser kolibri1 --tool-call-parser kolibri1 --enable-auto-tool-choice
Getestet mit vLLM 0.29.0 und aleph-alpha-inference 1.0.0 auf einer NVIDIA RTX PRO 6000 Blackwell (2699 generierte Tokens/s über alle Benchmark-Anfragen, Batch-Generierung).
Lizenz
Apache 2.0, wie Kolibri-1 (gilt für Gewichte und Konfigurationsdateien). Abgeleitet von Kolibri-1 (Aleph Alpha GmbH); nicht mit Aleph Alpha verbunden.