Qwen3-8B + novllm-lora-8b-novel (merged, GGUF)
j-llm/novllm-lora-8b-novel (LoRA r=16, alpha=32) を
Qwen/Qwen3-8B-Base に peft merge_and_unload() でマージしたものを GGUF 化。
LoRA は layers 0-29 の attn/mlp 各 proj に適用 (layers 30-35 はベースのまま — アダプタ側の仕様)。
ファイル
| file | quant | size |
|---|---|---|
| novllm-8b-q4_k_m.gguf | Q4_K_M | 5.03GB |
| novllm-8b-q3_k_s.gguf | Q3_K_S | 3.77GB |
ハードウェア互換性 (実測: TB250-BTC PRO + Celeron G3930, llama.cpp b11384)
decode/prompt = tok/s, ctx=2048, n=64 生成
| ハード | 経路 | 構成 | decode | prompt | 備考 |
|---|---|---|---|---|---|
| RX 6400 (4GB) | Vulkan | Q3_K_S -ngl 99 全層 |
23.2 | 61.1 | ★最速。4GBに全層収容 |
| RX6400+WX2100 | Vulkan | Q4_K_M layer分割 -ngl 99 |
10.7 | 3.2 | 6GB合算で全層GPU |
| RX 6400 | Vulkan | Q4_K_M -ngl 24 |
2.4 | 2.6 | 部分offloadはCPU律速 |
| WX 2100 (2GB) | Vulkan | Q4_K_M -ngl 14 |
1.2 | 1.5 | 同上 |
| GT 730 (1GB) | CUDA sm_35 | Q4_K_M -ngl 4 |
0.36 | 0.39 | driver470+chroot要、実用外 |
| CPU のみ | — | Q4_K_M -ngl 0 |
0.9 | 1.0 | Celeron 2C |
| GT 430 (Fermi) | — | — | 不可 | — | OpenCL経路の2023 llama.cpp がQwen3非対応 |
| HD 610 (iGPU) | — | — | 不可 | — | Vulkan ErrorDeviceLost |
要点: 8B 級は「部分オフロードが最悪、全層載る構成が最良」。4GB VRAM なら Q3 系まで下げて全層載せるのが圧倒的に速い。
使用法 (llama.cpp)
# VRAM >= 4GB: 小量子で全層オフロード推奨
llama-cli -m novllm-8b-q3_k_s.gguf -ngl 99
# VRAM 6GB+ or 複数GPU: 高品質側
llama-cli -m novllm-8b-q4_k_m.gguf -ngl 99 --split-mode layer
# VRAM 不足時: 部分オフロード (遅い)
llama-cli -m novllm-8b-q4_k_m.gguf -ngl 20
変換: llama.cpp convert_hf_to_gguf.py (b11384) → llama-quantize