Kohlibri-40B (GGUF)
GGUF-Quantisierungen von johannhartmann/kolibri-40B-de-opd, der deutschsprachigen, auf 192 Experten geprunten und nachtrainierten Variante von Aleph-Alpha/Kolibri-1 (~40B gesamt, ~3,4B aktiv pro Token).
Nur Deutsch. Englisch und andere Sprachen werden nicht unterstützt und nicht getestet.
| Datei | Quant | Größe |
|---|---|---|
Kolibri-40B-DE-OPD-Q4_K_M.gguf |
Q4_K_M | 22.8 GiB |
Kolibri-40B-DE-OPD-Q6_K.gguf |
Q6_K | 30.9 GiB |
Erstellt mit llama.cpp b38960f 2026-10-20 (Kolibri-1-Support seit ggml-org/llama.cpp#30673):
BF16-Safetensors → BF16-GGUF (convert_hf_to_gguf.py) → llama-quantize, ohne Importance-Matrix.
Evaluation (eigenes Setup, greedy)
| Metrik | BF16 | NVFP4 | Q4_K_M | Q6_K |
|---|---|---|---|---|
| MIF-DE nur DE, ohne Denken (avg) | 73,0 | 74,6 | 76,2 | 75,3 |
| MIF-DE nur DE, Prompt strict | 61,3 | 63,7 | 65,8 | 65,1 |
| MIF-DE nur DE, mit Denken (avg) | 40,7 | 42,6 | 39,1 | 42,1 |
| GermanQuAD EM | 66,7 | 66,6 | 67,1 | 66,4 |
| GermanQuAD F1 | 84,5 | 84,3 | 84,4 | 84,2 |
| GRIPS passed | 41,0 | 41,0 | 44,0 | 37,5 |
| GRIPS finished | 56,5 | 54,0 | 55,0 | 55,0 |
| GSM8K passed | 80,7 | 82,0 | 80,0 | 82,7 |
| GSM8K finished | 96,7 | 94,0 | 95,3 | 96,0 |
- BF16 und NVFP4 mit vLLM, GGUF mit
llama-server(gleiche Prompts als Token-IDs, gleiche Token-Limits). - MIF-DE: Marco-Bench-MIF-DE, die 424 Prompts mit deutscher Antwort; IFEval-Prüfer (lm-eval 0.4.13, constrained_response auch mit deutschem Wortlaut), Mittel aus strict/loose × Prompt/Anweisung.
- GermanQuAD: voller Testsplit (2.204 Fragen), Zero-Shot, Antwort als kürzester Textausschnitt, EM/F1 nach Normalisierung.
- GSM8K-DE (150) / GRIPS (200): eigene Held-out-Aufgaben,
reasoning_effort="low", Anteil korrekt („passed“) bzw. beendet („finished“).
Nutzung
Benötigt llama.cpp ab dem Merge von #30673 (Architektur kolibri1):
llama-server -hf johannhartmann/kolibri-40B-de-opd-GGUF:Q4_K_M -ngl 999 -c 32768 --jinja
Lizenz
Apache 2.0, wie Kolibri-1 (gilt für Gewichte und Konfigurationsdateien). Abgeleitet von Kolibri-1 (Aleph Alpha GmbH); nicht mit Aleph Alpha verbunden.