Qwen3.5-0.8B-Japanese-SFT-v2-GGUF（非公式）

Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT-v2 の GGUF 版です。元は Qwen/Qwen3.5-0.8B を日本語向けに追加学習した非公式の派生モデルで、Qwen チームとは関係ありません。学習の内容・評価・回答例・既知の問題は、元のリポジトリの説明を見てください。

GPU のないノートパソコンでも動きます。 Q4_K_M なら約 0.5 GB で、メモリ 8 GB のパソコンでも余裕があります。v1 にあった「同じ言葉を止まらずに繰り返す」問題は、llama.cpp の 590回答で 8件 → 0件になりました。

ファイル

• 速さは Apple M5 の CPU（4スレッド）で、評価用の質問20個に推奨の設定で1回ずつ順番に答えさせたもの。人が読む速さ（1秒に10文字前後）よりずっと速いので、CPU だけでも会話に十分です
• 一般常識30問は貪欲法。f16 の GGUF でも 22 / 24
• 変換：llama.cpp commit d28da865b の convert_hf_to_gguf.py で f16 に変換し（config.json の mtp_num_hidden_layers を 0 にしてから。元のリポジトリの重みには MTP の層が含まれていないため）、llama-quantize（Homebrew の llama.cpp 0.5.0、build 11146）で量子化

使い方

llama-server -m Qwen3.5-0.8B-Japanese-SFT-v2-Q4_K_M.gguf --port 8080 --jinja

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "雨の日の過ごし方を教えて。"}],
  "temperature": 1.0, "top_k": 20, "top_p": 1.0, "presence_penalty": 2.0, "repeat_penalty": 1.1, "max_tokens": 512,
  "chat_template_kwargs": {"enable_thinking": false}
}'

• 2026-10-03 更新： チャットテンプレートを、思考モードを指定しても思考なしで始まるように直しました（このモデルは思考なしの形だけで学習しています）。LM Studio などで答えが「考え中（Thought）」の欄に表示される場合は、モデルをダウンロードし直してください
• --jinja を付けて、GGUF に入っているチャットテンプレートを使ってください
• "chat_template_kwargs": {"enable_thinking": false} を必ず付けてください。 学習はすべて思考なしで行っています
• repeat_penalty は 1.1 がおすすめです（LM Studio は最初から 1.1）。v2 では付けなくても繰り返しは 590回答中0件でした
• 事実を答えさせる・選択問題では temperature 0 にしてください

ライセンス

Apache License 2.0（元のモデルと学習データのライセンス・帰属表示は Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT-v2 を参照）。学習データには、CC BY 4.0 の “Tengentoppa-sft-v1.0” by DeL-TaiseiOzaki から選んだ行と、日本語版ウィキペディアの記事（Wikipedia contributors、CC BY-SA 3.0 / GFDL）を使っています。