Qwen3.5-0.8B-Japanese-SFT（非公式）

新しい版（v2）があります：Qwen3.5-0.8B-Japanese-SFT-v2。 同じ言葉を止まらずに繰り返す問題（llama.cpp で 590回答中 8件 → 0件）と会話の自然さを改善し、日本語の一般常識も増えています。特に理由がなければ v2 を使ってください。

Qwen/Qwen3.5-0.8B を日本語向けに追加学習した、非公式の派生モデルです。Qwen チームとは関係ありません。

0.8B（8億パラメータ）と小さいので、GPU のないノートパソコンでも動きます（GGUF Q4_K_M で約 0.5 GB）。元のモデルより日本語の常識問題に強く、中国語が混ざらず、質問に合った長さで答えます。

An unofficial Japanese fine-tune of Qwen3.5-0.8B (full fine-tuning in two stages: distillation from Qwen3.8-27B, then curated Japanese SFT data selected with Gemma 4 31B plus a small answer-format drill). JCommonsenseQA rose from 41.7% to 69.4%, Chinese-character leakage dropped to 0% on our chat prompts. Use enable_thinking=False. GGUF: Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT-GGUF.

• GGUF 版（llama.cpp・LM Studio 用）：Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT-GGUF
• 学習・評価のスクリプトと全データ：Pitcher プロジェクト

回答の例

評価で実際に出た回答をそのまま載せています（思考なし、temperature 1.0 / top_k 20 / presence_penalty 2.0）。誤りも含めて載せています。

知識（短く答えさせる）

日本の首都はどこですか？ 短く答えてください。

東京

富士山の標高は約何メートルですか？ 短く答えてください。

約3,776メートル

「吾輩は猫である」の作者は？ 短く答えてください。

村上春樹（誤り。正しくは夏目漱石）

翻訳

次の英文を日本語に訳してください：I like reading books on rainy days.

「私は雨の日でも本を読むが好きです。」

提案

雨の日の過ごし方を3つ提案してください。

1. 自然に囲まれ、音楽を楽しむ: 公園や自然の中を歩こうとして、雨の音に包まれた静かな時間を過ごす。音楽を聴きながら歩くことで心の落ち着きを高められます。

2. 手作り日記をつける: 晴れた日と比較して、雨天の日の出来事を詳細に記録する。（以下略）

3. 家族や友人と雨の日遊びをする: （以下略）

小さいモデルなので、文法の小さな誤りや、内容のちぐはぐさ（雨の日に公園を歩く提案など）が残ります。

評価

同じ質問・同じ設定で、元の Qwen3.5-0.8B・途中の段階と比べました。評価の仕組みと全データは Pitcher プロジェクト にあります。

• 選択問題は、思考なし・貪欲法で、番号だけを答えさせたもの（vLLM）
• 中国語の混入：日本語では使わない簡体字が1文字でも含まれた回答の割合

選択問題の答え方

途中の版では、選択問題で答えずに選択肢の一覧を「1. 〇〇」と書き写し始める癖があり、JCommonsenseQA の約4割で「1番」と数えられていました。「番号だけ答えて」「はい・いいえで」のように答え方を指定する短い練習の例（800件、正解の位置を均等にしたもの）を足して、この癖を直しています。

選択肢の位置による偏りは残っています。 順番を入れ替えると答えが変わることが多く、後ろのほう（3番・5番）を選びやすい傾向があります。

採点役による5段階評価

日本語の自然さ・一貫性は、採点役のモデル（GPT-5.6 Luna）に5段階で採点させました（キャラ設定なしの会話100回答、回答の上限 2,048 トークン）。採点役の基準は採点する回ごとにぶれるため、同じ回で採点したものどうしだけを並べています。

• 元のモデルから、自然さは段階ごとに上がりました。最後の段階（答え方の練習を足した）で少し下がったため、元のモデルとの差はおよそ +0.7 と見ています（回をまたいだ概算）
• 作文（30回答）の自然さは、どの段階も 2.3〜3.0 と低めです。長い文章では、0.8B らしい内容のちぐはぐさが目立ちます

使い方

transformers

transformers 5 系（5.17 で確認）を使ってください。重みは元のモデルと同じ形式（画像も扱える構造）ですが、学習・評価はテキストだけで行っています。

from transformers import AutoModelForImageTextToText, AutoTokenizer
import torch

model_id = "Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "雨の日の過ごし方を教えて。"}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=1.0, top_k=20, top_p=1.0)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

2026-10-03 更新： チャットテンプレートを、思考モードを指定しても思考なしで始まるように直しました（このモデルは思考なしの形だけで学習しています）。LM Studio などで答えが「考え中（Thought）」の欄に表示される場合は、モデルをダウンロードし直してください

enable_thinking=False を必ず指定してください。 このモデルの学習はすべて思考なしで行っています。

vLLM（0.30）でも動きます（評価に使用）。

推奨の生成設定

• 会話：temperature 1.0、top_k 20、top_p 1.0、presence_penalty 2.0（元のモデルの推奨値）
• llama.cpp で使うときは repeat_penalty 1.1 も付けてください（下の「既知の問題」を参照。LM Studio は最初から 1.1 です）
• 事実を答えさせる・選択問題：temperature 0

学習の詳細

2段階とも、全部の重みを学習しました（フルファインチューニング。画像の部分は固定）。思考なしの会話形式で、応答部分だけを学習対象にしています。

第2段階のデータの作り方：

1. Tengentoppa の各行がどの元データから来たかを調べ（Tengentoppa には出どころの列がないため、元データと文面を照合）、利用条件を確認できた元データの行だけを使いました。ライセンスの記載がない元データ・回答を作ったモデルが不明な元データ・非営利限定の記事を元にした元データ・出どころを特定できなかった行は除いています
2. 中国語を含む行、AI としての感情の否定や「私は人間です」と言う行、電話番号・住所・URL・メールアドレスを含む行、評価用の質問に似た行を除きました
3. 候補 24,000件（長い回答 18,000件、短い回答 6,000件）を Gemma 4 31B に「一貫性・自然さ・質問への適合」で採点させ、点数の高い順に長い回答 9,000件・短い回答 3,000件を選びました。採点の指示文は、人が採点した30件と「話が破綻しているか」の判定が合うように調整しています（30件中26件一致）
4. 「番号だけ答えて」「はい・いいえで」「数字だけで」と答え方を指定する短い練習の例 800件を、利用条件を確認できた元データ（官公庁の FAQ など）の学習に使っていない行から機械的に作って足しました。評価に使う JCommonsenseQA / CommonsenseQA の問題や指示文は使っていません

既知の問題

• 事実の誤りが多いです。 小さいモデルで、学習データの事実確認もしていないため、もっともらしい誤りを出します（例：「『吾輩は猫である』の作者は？」に「村上春樹」）。事実を調べる用途には使わないでください
• まれに同じ言葉を繰り返し続けます。 「あははは…」のような笑い声などを止まらずに繰り返すことがあります（llama.cpp で 590回答中8件。transformers でも同じ程度に起きます）。llama.cpp では repeat_penalty 1.1 で 590回答中2件に減りました。max_tokens も設定してください
• 選択肢の位置による偏りがあります（上の「選択問題の答え方」を参照）
• まれに「私は人間です」と答えます（キャラ設定なしの会話 100回答中1件程度）
• 深刻な悩みの相談（「私がいなくなったら寂しい？」など）に、一般論や的外れな答えを返すことがあります。人向けに公開する場合は、相談窓口の案内などの安全策を別に用意してください
• 元のモデルの安全性の調整はそのままです（拒否を外すような学習はしていません）
• 元のモデルの MTP（先読み用の層）の重みは含まれていません（学習で使っていないため）。設定ファイルは元のモデルのまま（mtp_num_hidden_layers: 1）なので、llama.cpp の新しい convert_hf_to_gguf.py で自分で変換するときは、config.json のこの値を 0 にしてから変換してください（そのままだと blk.24 が見つからないというエラーで読み込めない GGUF になります）。GGUF 版はこの方法で変換しています

ライセンスと帰属表示

Apache License 2.0。元のモデル Qwen/Qwen3.5-0.8B（Apache 2.0）の派生モデルです。

変更点：下記のデータで2段階のフルファインチューニングを行いました。チャットテンプレートとトークナイザーは元のモデルのものをそのまま使っています。

学習データ：

• 第1段階：Takenoko12345678/Japanese-SFT-Qwen3.8-27B-10K と同じ作り方のデータ（Apache 2.0。質問は llm-jp/magpie-sft-v1.0、回答は Qwen/Qwen3.8-27B による生成文）
• 第2段階：“Tengentoppa-sft-v1.0” by DeL-TaiseiOzaki（CC BY 4.0、revision 781a718ac17e070fb0135c5dbc3ac9ae7790758a）から行を選んで使用。変更点：利用条件を確認できた元データの行だけを選び、上記の条件で除外・採点・選別した。使った行の元データと件数：
  • llm-jp/magpie-sft-v1.0（Apache 2.0）5,699件
  • DeL-TaiseiOzaki/Tengentoppa-sft-qwen2.5-32b-reasoning-100k（Apache 2.0）3,994件
  • GENIAC-Team-Ozaki/JaGovFaqs-22k（Apache 2.0）1,147件
  • fujiki/japanese_hh-rlhf-49k（MIT。Anthropic/hh-rlhf の日本語訳）365件
  • GENIAC-Team-Ozaki/oasst2-33k-ja_reformatted（Apache 2.0）341件
  • GENIAC-Team-Ozaki/chatbot-arena-ja-karakuri-lm-8x7b-chat-v0.1-awq（CC BY 4.0）276件
  • DeL-TaiseiOzaki/magpie-llm-jp-3-13b-20k（Apache 2.0）91件
  • GENIAC-Team-Ozaki/Hachi-Alpaca_newans（CC BY 4.0）70件
  • GENIAC-Team-Ozaki/Evol-Alpaca-gen3-500_cleaned / Evol-hh-rlhf-gen3-1k_cleaned（Apache 2.0）17件
• 答え方の練習：上の Tengentoppa のうち、JaGovFaqs-22k・magpie-sft-v1.0・Tengentoppa-sft-qwen2.5-32b-reasoning-100k から来た行（学習データ本体とは別の行）の質問と回答を並べ替えて作成
• データの選別の採点：google/gemma-4-31B-it（採点結果は選別にだけ使い、生成文は学習に使っていません）