Qwen3-8B + novllm-lora-8b-novel (merged, GGUF)

j-llm/novllm-lora-8b-novel (LoRA r=16, alpha=32) を Qwen/Qwen3-8B-Base に peft merge_and_unload() でマージしたものを GGUF 化。

LoRA は layers 0-29 の attn/mlp 各 proj に適用 (layers 30-35 はベースのまま — アダプタ側の仕様)。

ファイル

file quant size
novllm-8b-q4_k_m.gguf Q4_K_M 5.03GB
novllm-8b-q3_k_s.gguf Q3_K_S 3.77GB

ハードウェア互換性 (実測: TB250-BTC PRO + Celeron G3930, llama.cpp b11384)

decode/prompt = tok/s, ctx=2048, n=64 生成

ハード 経路 構成 decode prompt 備考
RX 6400 (4GB) Vulkan Q3_K_S -ngl 99 全層 23.2 61.1 ★最速。4GBに全層収容
RX6400+WX2100 Vulkan Q4_K_M layer分割 -ngl 99 10.7 3.2 6GB合算で全層GPU
RX 6400 Vulkan Q4_K_M -ngl 24 2.4 2.6 部分offloadはCPU律速
WX 2100 (2GB) Vulkan Q4_K_M -ngl 14 1.2 1.5 同上
GT 730 (1GB) CUDA sm_35 Q4_K_M -ngl 4 0.36 0.39 driver470+chroot要、実用外
CPU のみ — Q4_K_M -ngl 0 0.9 1.0 Celeron 2C
GT 430 (Fermi) — — 不可 — OpenCL経路の2023 llama.cpp がQwen3非対応
HD 610 (iGPU) — — 不可 — Vulkan ErrorDeviceLost

要点: 8B 級は「部分オフロードが最悪、全層載る構成が最良」。4GB VRAM なら Q3 系まで下げて全層載せるのが圧倒的に速い。

使用法 (llama.cpp)

# VRAM >= 4GB: 小量子で全層オフロード推奨
llama-cli -m novllm-8b-q3_k_s.gguf -ngl 99

# VRAM 6GB+ or 複数GPU: 高品質側
llama-cli -m novllm-8b-q4_k_m.gguf -ngl 99 --split-mode layer

# VRAM 不足時: 部分オフロード (遅い)
llama-cli -m novllm-8b-q4_k_m.gguf -ngl 20

変換: llama.cpp convert_hf_to_gguf.py (b11384) → llama-quantize