Qwen3.5-0.8B-Japanese-SFT-GGUF（非公式）

新しい版（v2）があります：Qwen3.5-0.8B-Japanese-SFT-v2-GGUF。 同じ言葉を止まらずに繰り返す問題（llama.cpp で 590回答中 8件 → 0件）と会話の自然さを改善し、日本語の一般常識も増えています。特に理由がなければ v2 を使ってください。

Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT の GGUF 版です。元は Qwen/Qwen3.5-0.8B を日本語向けに追加学習した非公式の派生モデルで、Qwen チームとは関係ありません。学習の内容・評価・回答例・既知の問題は、元のリポジトリの説明を見てください。

GPU のないノートパソコンでも動きます。 Q4_K_M なら約 0.5 GB で、メモリ 8 GB のパソコンでも余裕があります。

ファイル

• 速さは Apple M5（llama-bench、生成 128 トークン）で測ったものです。人が読む速さ（1秒に10文字前後）よりずっと速いので、CPU だけでも会話に十分です
• 実際の会話（評価用の質問20個、推奨の設定、CPU のみ・4スレッド、1回ずつ順番に）では、Q4_K_M で 20回の合計 17.8秒（1回平均 0.9秒、最長 2.4秒、約 84 トークン/秒）、Q8_0 で合計 22.3秒（1回平均 1.1秒、約 69 トークン/秒）でした
• 一般常識30問は貪欲法、変換前のモデル（vLLM）では 20 / 24
• 変換：llama.cpp commit d28da865b の convert_hf_to_gguf.py で f16 に変換し（config.json の mtp_num_hidden_layers を 0 にしてから。元のリポジトリの重みには MTP の層が含まれていないため）、llama-quantize（Homebrew の llama.cpp 0.5.0、build 11146）で量子化
• JCommonsenseQA（5択・1,119問、番号だけを答えさせる）は、f16 の GGUF で 68.8%（変換前のモデルを vLLM で動かすと 69.4%）

使い方

llama-server -m Qwen3.5-0.8B-Japanese-SFT-Q4_K_M.gguf --port 8080 --jinja

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "雨の日の過ごし方を教えて。"}],
  "temperature": 1.0, "top_k": 20, "top_p": 1.0, "presence_penalty": 2.0, "repeat_penalty": 1.1, "max_tokens": 512,
  "chat_template_kwargs": {"enable_thinking": false}
}'

• 2026-10-03 更新： チャットテンプレートを、思考モードを指定しても思考なしで始まるように直しました（このモデルは思考なしの形だけで学習しています）。LM Studio などで答えが「考え中（Thought）」の欄に表示される場合は、モデルをダウンロードし直してください
• --jinja を付けて、GGUF に入っているチャットテンプレートを使ってください
• "chat_template_kwargs": {"enable_thinking": false} を必ず付けてください。 学習はすべて思考なしで行っています
• repeat_penalty は 1.1 にしてください。 このモデルは、まれに「あははは…」のように同じ言葉を止まらずに繰り返します（590回答中8件）。1.1 にすると 590回答中2件に減り、ほかの評価の結果は変わりませんでした。LM Studio は最初から 1.1 です
• 事実を答えさせる・選択問題では temperature 0 にしてください

ライセンス

Apache License 2.0（元のモデルと学習データのライセンス・帰属表示は Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT を参照）。学習データの一部に CC BY 4.0 の “Tengentoppa-sft-v1.0” by DeL-TaiseiOzaki を使っています。