Qwen3.5-0.8B-Japanese-SFT-v2.5-GGUF（非公式）

Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT-v2.5 の GGUF 版です。元は Qwen/Qwen3.5-0.8B を日本語向けに追加学習した非公式の派生モデルで、Qwen チームとは関係ありません。学習の内容・評価・既知の問題は、元のリポジトリの説明を見てください。

v2.5 は、思考モードで日本語で短く考えてから答えられるようになった版です（MMLU-Pro 理科 36.1%、MGSM 日本語 27.4%。どちらも思考あり・上限 4,096 トークン、f16 の GGUF で複数回測った平均）。

ファイル

• 評価の数字はすべて f16 で測ったものです。Q8_0・Q4_K_M では測っていません
• 変換：llama.cpp commit d28da865b の convert_hf_to_gguf.py で f16 に変換し（config.json の mtp_num_hidden_layers を 0 にしてから）、llama-quantize（Homebrew の llama.cpp 0.5.0、build 11146）で量子化
• MTP（先読み用の層）は含まれていません。 llama.cpp・LM Studio で MTP を使った実行（投機的デコード）はできません。普通の実行はできます

使い方

llama-server -m Qwen3.5-0.8B-Japanese-SFT-v2.5-Q4_K_M.gguf --port 8080 --jinja

理科・算数の問題（思考あり）：

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "時速 60 km で 2 時間 30 分走ると、何 km 進みますか？"}],
  "temperature": 1.0, "top_k": 20, "top_p": 0.95, "max_tokens": 4096,
  "chat_template_kwargs": {"enable_thinking": true}
}'

普段の会話（思考なし）：

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "雨の日の過ごし方を教えて。"}],
  "temperature": 1.0, "top_k": 20, "top_p": 1.0, "presence_penalty": 2.0, "repeat_penalty": 1.1, "max_tokens": 512,
  "chat_template_kwargs": {"enable_thinking": false}
}'

• --jinja を付けて、GGUF に入っているチャットテンプレート（元のモデルと同じもの）を使ってください
• llama.cpp のサーバーは、指定しないと思考ありで動きます。 思考なしにするには "chat_template_kwargs": {"enable_thinking": false} を付けてください。LM Studio では「思考」の切り替えで選べます
• 思考ありの答えは、<think> の中（または reasoning_content）に考えた内容、そのあとに答えが入ります。上限（max_tokens）は 4,096 以上にしてください
• 事実を答えさせる・選択問題では temperature 0 にしてください

ライセンス

Apache License 2.0（元のモデルと学習データのライセンス・帰属表示は Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT-v2.5 を参照）。学習データには、CC BY 4.0 の “Tengentoppa-sft-v1.0” by DeL-TaiseiOzaki から選んだ行、OpenScienceReasoning-2（CC BY 4.0、© NVIDIA）の問題、v2 までに使った日本語版ウィキペディアの記事（Wikipedia contributors、CC BY-SA 3.0 / GFDL）を使っています。