Qwen3.5-0.8B + navspec-lora-0.8b-v0.2 (merged, GGUF)
j-llm/navspec-lora-0.8b-v0.2（LoRA r=16, alpha=32）を
Qwen/Qwen3.5-0.8B に peft の merge_and_unload() でマージし、GGUF に変換したものです。
用途・入出力形式・免責は LoRA 側のカードを参照してください（実験段階のプロトタイプで、判定の正確性は保証しません）。
ファイル
| file | quant | size |
|---|---|---|
| navspec-qwen35-0.8b-q8_0.gguf | Q8_0 | 812 MB |
| navspec-qwen35-0.8b-q4_0.gguf | Q4_0 | 501 MB |
評価（test 142 件, temperature 0, thinking 無効）
| JSON | status 正解率 | reason F1 | PyTorch マージ版と出力が完全一致 | |
|---|---|---|---|---|
| PyTorch（マージ版） | 1.000 | 1.000 | 0.903 | — |
| Q8_0 | 1.000 | 1.000 | 0.903 | 142/142 |
| Q4_0 | 1.000 | 1.000 | 0.910 | 140/142 |
Q4_0 で差が出た 2 件は、たまたま正解に近づく方向でした。Q4_0 の方が精度が高いという意味ではありません。
速度（実測: RTX 3060 12GB, llama.cpp 0.4.1 / b29c606, -ngl 99）
| quant | prompt (pp512) | decode (tg128) |
|---|---|---|
| Q8_0 | 8,825 t/s | 250 t/s |
| Q4_0 | 8,903 t/s | 302 t/s |
動作要件
- Qwen3.5（
qwen35アーキテクチャ, Gated DeltaNet）に対応した新しい llama.cpp が必要です。古いビルドでは読み込めません。 - 旧版（Qwen2.5-0.5B ベース）のカードに載せていた GPU / CPU の互換表は、このモデルでは未検証です。
- thinking は無効にしてください。 学習時と同じく、assistant の先頭に空の
<think>\n\n</think>\n\nが入る形にします。
llama-server -m navspec-qwen35-0.8b-q8_0.gguf -ngl 99 --chat-template-kwargs '{"enable_thinking":false}'
リクエストは OpenAI 互換の chat completions で、temperature: 0, max_tokens: 64 を推奨します。
変換手順
python convert_hf_to_gguf.py merged/ --outtype bf16 --no-mtp # MTP ヘッドはマージ版に含まれないので除外
llama-quantize model-bf16.gguf model-q8_0.gguf Q8_0