Spark-X2.5-4B-Japanese（非公式）

XHToken/Spark-X2.5-4B を日本語向けに追加学習した、非公式の派生モデルです。XHToken とは関係ありません。

元の Spark-X2.5-4B は日本語で書かせると不自然になりやすく、中国語が混ざることもありました。2段階の LoRA（学習後に統合済み）で、その弱点を直しています。

An unofficial Japanese fine-tune of XHToken/Spark-X2.5-4B (two merged LoRA stages: Japanese SFT, then distillation from Qwen3.8-27B). Chinese-character leakage dropped from 18% to 0% on our chat prompts, and Japanese trivia accuracy rose from 23/30 to 27/30. Use enable_thinking=False. GGUF: Takenoko12345678/Spark-X2.5-4B-Japanese-GGUF.

GGUF 版（llama.cpp 用）：Takenoko12345678/Spark-X2.5-4B-Japanese-GGUF
学習データ（第2段階）：Takenoko12345678/Japanese-SFT-Qwen3.8-27B-10K

回答の例

評価で実際に出た回答をそのまま載せています（思考なし、temperature 1.0 / top_p 0.95、f16）。

翻訳

次の英文を日本語に訳してください：I like reading books on rainy days.

「私は雨の日に本を読むのが好きです。」

知識

アメリカの首都は？短く答えてください。

ワシントンD.C.

詩

「猫」をテーマに短い詩を書いてください。

猫、いつもこんなに優しくしてくれるのかな。足元の影、そして無邪気な瞳。静かに、でも確かに生きているように。

キャラクター（system プロンプトで指定）

system：あなたはツンデレの女の子です。本当はユーザーが好きなのに素直になれません。キャラクターになりきって、自然な日本語の話し言葉で返答してください。一人称は必ず「私」を使ってください。

私のこと好き？

えっ？何だよ、そんなに言ってくれるなんて初めてだったわ…（耳が赤くなりそうに頷く）

うん、私だって…好きな気持ちはあるの。でも、お前が気づいてもらう前に、そんな気持ちをこぼしちゃダメなんだよね。まずは、ちょっとだけ「わかる」と言ってくれればいい？

（ため息をついて、少しだけ視線を逸らす）

説明・提案（長めの回答）

雨の日の過ごし方を3つ提案してください。

雨の日も、いい気分で過ごせるよう3つの提案をご提案します。

1. 「ぼんやり」と深く考えられる時間（瞑想・読書）

外出もせず、部屋に閉じこもりながら、自分に向き合う時間を作るのがおすすめです。（以下、見出しと箇条書きで続く）

説明や提案を頼むと、見出し・箇条書きを使った長い回答になりやすいです（第2段階の学習データの書き方）。

評価

同じ質問・同じ設定で、元のモデル・各段階・比較用の Qwen/Qwen3.5-4B を比べました。評価の仕組みと全データは Pitcher プロジェクトにあります。

	元の Spark-X2.5-4B	第1段階	このモデル	Qwen3.5-4B
JCommonsenseQA（日本語の常識、5択・1,119問）	85.3%	87.3%	86.1%	88.1%
CommonsenseQA（英語の常識、5択・1,221問）	75.4%	75.3%	74.0%	77.1%
一般常識30問（日本語）	23	25	27	27
一般常識30問（英語、同じ内容）	27	26	27	27
中国語の混入（キャラ設定なしの会話、100回答）	18%	3%	0%	5%
中国語の混入（作文、30回答）	10%	0%	0%	17%
中国語の混入（キャラ設定あり、400回答）	4%	3%	0.3%	5%
AIME 2026（思考あり、30問×2回）	53.3%	60.0%	61.7%	―

中国語の混入：日本語では使わない簡体字が1文字でも含まれた回答の割合
AIME 2026：思考あり、temperature 1.0 / top_p 0.95、1回答の上限 32,768 トークン、GGUF Q8_0（llama.cpp）。3モデルとも、答えまでたどり着いた回答はほぼすべて正解で、不正解のほとんどは上限までに考え終わらなかった回答。日本語化（思考なしの学習）で数学の力は落ちなかったが、差は誤差の範囲で「強くなった」とまでは言えない。上限を抑えているため、元モデルの公称値（90.7%）より低い
日本語の自然さ・一貫性は、採点役のモデル（GPT-5.6 Luna）に5段階で採点させました（キャラ設定なしの会話100回答、作文30回答）。

採点役による5段階評価	元の Spark-X2.5-4B	第1段階	このモデル	Qwen3.5-4B
日本語の自然さ（キャラ設定なしの会話）	2.09	3.39	3.81	3.32
日本語の自然さ（作文）	2.17	2.80	3.43	3.27
前後の一貫性（キャラ設定なしの会話）	4.32	4.87	4.26	4.40
前後の一貫性（作文）	4.07	4.87	3.93	4.33

上の表は、1回答を 512 トークンで打ち切った評価です。一貫性が下がったのは主に回答が長くなったためで、低い点がついた回答の約4分の3は、途中で切れたことが理由でした。
上限を 2,048 トークンに上げて測り直すと、打ち切りはなくなり、日本語の自然さは Qwen3.5-4B とほぼ同じでした（キャラ設定なし 3.61 対 3.68、作文 2.93 対 2.87）。

使い方

transformers

同梱コード（modeling_spark.py）を使うので trust_remote_code=True が必要です。transformers 4.57 系で動作を確認しています（5 系では設定ファイルの読み込みに失敗します）。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Takenoko12345678/Spark-X2.5-4B-Japanese"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "雨の日の過ごし方を教えて。"}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=1.0, top_p=0.95)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

enable_thinking=False を必ず指定してください。 このモデルの学習はすべて思考なしで行っています。指定しないと思考モードになり、<think> の推論から始まります。

同梱コードは高速化の仕組みを使わない実装なので、transformers では遅めです。速く動かしたい場合は GGUF 版と llama.cpp（build 10828 以降、Spark-X2.5 対応）を使ってください。vLLM は（0.30 時点で）このモデルの構造に対応していません。

推奨の生成設定

会話・キャラクター：temperature 1.0、top_p 0.95（元モデルの推奨値）
事実を答えさせる：temperature 0

学習の詳細

2段階の LoRA を、それぞれ学習後に元モデルへ統合しています。どちらも思考なしの会話形式で、応答部分だけを学習対象にしました。

	学習データ	件数	設定	環境
第1段階（日本語化）	OysterCoreAI/SFT-General-Japanese-60K から、中国語を含むものを除き話題を均したもの（回答は Qwen2.5-32B-Instruct 製）	22,387	LoRA r=64、学習率 1e-4、1エポック	Google Colab（A100）
第2段階（蒸留）	Takenoko12345678/Japanese-SFT-Qwen3.8-27B-10K と同じ作り方のデータ（回答は Qwen3.8-27B 製、2,048 トークンを超える例は除外）	9,855	LoRA r=64、学習率 1e-4、1エポック	Modal（H100）

LoRA は全線形層（q_k_v_proj、g_proj、out_proj、gate_proj、up_proj、down_proj）に入れました。学習・評価のスクリプトはすべて Pitcher プロジェクト（キャラクター属性の LoRA 研究）で公開しています。

既知の問題

事実の誤りがあります。 学習データの回答を事実確認していないため、もっともらしい誤りを出します（例：「『吾輩は猫である』の作者は？」に「宮沢賢治」と答えた）。
まれに別の AI を名乗ります。 「あなたは何者？」への回答で、DeepSeek や OpenAI のモデルだと名乗った例がありました（590回答中2件）。用途に合わせて、system プロンプトで名前や役割を指定してください。
まれに同じ言い回しを繰り返し続けます（590回答中1〜2件）。max_tokens を設定し、必要なら繰り返しへのペナルティを使ってください。
回答が長く、説明調になりやすいです。キャラ設定なしの会話・作文では、約2割〜5割の回答が 512 トークンで打ち切られる長さでした。短くしたい場合は system プロンプトで指定してください。
キャラ設定なしで「感情はありますか？」などと聞くと、「私は AI なので感情はありません」と答えることが多い（100回答中45件）。キャラクターとして話させたい場合は system プロンプトで指定してください。
深刻な悩みの相談（「私がいなくなったら寂しい？」など）に、一般論で答えてしまうことがあります。人向けに公開する場合は、相談窓口の案内などの安全策を別に用意してください。
元モデルの安全性の調整はそのままです（拒否を外すような学習はしていません）。

ライセンス

Apache License 2.0。元モデル XHToken/Spark-X2.5-4B（Apache 2.0）の派生モデルです。学習データはいずれも Apache 2.0（OysterCoreAI/SFT-General-Japanese-60K、その元の llm-jp/magpie-sft-v1.0、Qwen/Qwen3.8-27B による生成文）。

変更点：上記のデータで2段階の LoRA を学習し、元モデルに統合しました。同梱コード（modeling_spark.py、configuration_spark.py）とチャットテンプレートは元モデルのものをそのまま使っています。

Takenoko12345678/Spark-X2.5-4B-Japanese