Poziomka Instruct 2026-10-20 — FP8

Kwantyzacja FP8 modelu cpral/Poziomka-Instruct-2026-10-20 (rewizja c74ec04fbd2279653d8a2b383f6b529607180890). Wagi zajmują około 4,0 GB zamiast 8,2 GB w bf16, dzięki czemu model mieści się na karcie 16 GB razem z STT i TTS asystenta głosowego (poziomka-dostaje-glos).

Kwantyzacja

• llm-compressor 0.14.0.1, schemat FP8_DYNAMIC, bez danych kalibracyjnych.
• Wagi: FP8 E4M3, skala per kanał wyjściowy. Aktywacje: FP8 per token, liczone dynamicznie przy inferencji.
• Skwantyzowane są wszystkie warstwy nn.Linear poza lm_head: eksperci MoE, eksperci współdzieleni, attention (query_key_value, dense) i gęsty MLP pierwszej warstwy.
• W bf16 zostają: routery MoE (mlp.gate), expert_bias, lm_head, embeddingi i normalizacje.
• Format: compressed-tensors (quantization_config w config.json), więc w SGLang nie trzeba podawać --quantization.

Jakość względem bf16 nie była jeszcze mierzona.

Uruchomienie (SGLang)

python3 -m sglang.launch_server --model-path cpral/Poziomka-Instruct-2026-10-20-FP8 --trust-remote-code \
    --port 2300 --host 0.0.0.0 --reasoning-parser qwen3 --grammar-backend none

Sprawdzone na SGLang 0.5.22 i RTX 5080 (Blackwell, sm_120). Na tej karcie dodatkowo: --attention-backend triton --sampling-backend pytorch (kernele FlashInfer kompilowane w locie nie budowały się z nvcc 13.4) oraz SGLANG_ENABLE_JIT_DEEPGEMM=0.

Zalecane samplery jak w oryginale (tryb błyskawicznej odpowiedzi): temperature 0.6, top_p 0.9, min_p 0.05, frequency_penalty 0.15.

Znane problemy

• Dołączony modeling_bailing_moe_v2.py ma poprawki pozwalające wczytać model w transformers 5.x (import is_torch_fx_available, RoPE default, _tied_weights_keys). Mimo to forward przez transformers 5 jest błędny: bufor RoPE inv_freq zostaje niezainicjalizowany. Do inferencji używaj SGLang, który liczy RoPE sam.