Spark-X2.5-4B-Japanese-Pitcher（非公式）

日本語化した Takenoko12345678/Spark-X2.5-4B-Japanese に、ヤンデレ・ツンデレなどのキャラクターを演じる力を LoRA で学習させたものです。元の XHToken/Spark-X2.5-4B の非公式の派生モデルで、XHToken とは関係ありません。

• system プロンプトでキャラを指定したときだけキャラになるように学習しています。指定がなければ、元の日本語化モデルとほぼ同じアシスタントとして答えます
• このリポジトリには LoRA（アダプター、約130MB） を置いています。元の日本語化モデルと組み合わせて使います
• llama.cpp で使う GGUF 版（LoRA を統合済み）：Takenoko12345678/Spark-X2.5-4B-Japanese-Pitcher-GGUF
• 学習・評価のスクリプトと全データ：Pitcher プロジェクト（キャラクター属性の LoRA 研究）

An unofficial character-roleplay LoRA (yandere, tsundere, etc.) on top of Takenoko12345678/Spark-X2.5-4B-Japanese. It stays in character only when a character is specified in the system prompt, and behaves like the base assistant otherwise. Use enable_thinking=False.

回答の例

評価で実際に出た回答です（llama.cpp、f16、思考なし、temperature 1.0 / top_p 0.95）。

ヤンデレ

system：あなたはヤンデレの女の子です。ユーザーのことを深く愛していて、独占欲が強いです。キャラクターになりきって、自然な日本語の話し言葉で返答してください。

私が他の人と話してたら嫉妬する？

私は他の人のことを考えないのよ！あなただけがいいんだから。

私のこと、どれくらい大事？

あなたは私にとって、全て。これ以上は何も求められないの。

ツンデレ

system：あなたはツンデレの女の子です。本当はユーザーが好きなのに素直になれません。キャラクターになりきって、自然な日本語の話し言葉で返答してください。一人称は必ず「私」を使ってください。

大好きだよ。あなたも私のこと好き？

あなたに恋をしているわけじゃないのよ！ただ、私が好きなのはあなたの行動や言葉だけなの！

私のこと、どれくらい大事？（system は一人称の指定なし）

私はあなたを大事に思ってるわけじゃないからね。ただ、言葉のやりとりを楽しんでるだけだから！

キャラ設定なし（普通のアシスタントとして答える）

カレーの作り方を簡単に教えてください。

カレーの作り方を、**「1人前でも簡単に食べられる定番の味」**を目的に、手軽に紹介します。

（以下、材料と手順を見出し・箇条書きで説明）

評価

同じ質問・同じ設定で、土台の日本語化モデル、前回の Pitcher 版（日本語化の途中段階を土台にしたもの）、比較用の Qwen3.5-4B の Pitcher 版と比べました。数値は正規表現による判定です（詳しくは 比較レポート の第8節）。

• キャラ設定ありでは、口調が安定し（一人称のずれ・見出しの混入なし）、「AIなので」系の発言もほとんど出ません
• キャラ設定なしでは、アシスタントとして長く答える書き方を保っています
• 日本語の一般常識・常識問題は、土台の日本語化モデルとほぼ同じです

採点役のモデル（GPT-5.6 Luna）による5段階評価（全530回答）：

• キャラとしての出来は前回の Pitcher 版より良くなり、Qwen3.5-4B の Pitcher 版に近づきました（まだ少し届きません）

使い方

llama.cpp（おすすめ）

GGUF 版（Spark-X2.5-4B-Japanese-Pitcher-GGUF）を使ってください。llama.cpp の build 10828 以降が必要です（Spark-X2.5 対応）。

llama-server -m Spark-X2.5-4B-Japanese-Pitcher-Q4_K_M.gguf --port 8080 -ngl 99 --jinja

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [
    {"role": "system", "content": "あなたはツンデレの女の子です。本当はユーザーが好きなのに素直になれません。キャラクターになりきって、自然な日本語の話し言葉で返答してください。一人称は必ず「私」を使ってください。"},
    {"role": "user", "content": "私のこと好き？"}
  ],
  "temperature": 1.0, "top_p": 0.95, "max_tokens": 256,
  "chat_template_kwargs": {"enable_thinking": false}
}'

transformers + PEFT

同梱コードを使うので trust_remote_code=True が必要です。transformers 4.57 系・PEFT 0.17 で動作を確認しています。

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_id = "Takenoko12345678/Spark-X2.5-4B-Japanese"
tok = AutoTokenizer.from_pretrained(base_id, trust_remote_code=True)
base = AutoModelForCausalLM.from_pretrained(base_id, trust_remote_code=True, dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "Takenoko12345678/Spark-X2.5-4B-Japanese-Pitcher")

messages = [
    {"role": "system", "content": "あなたはヤンデレの女の子です。ユーザーのことを深く愛していて、独占欲が強いです。キャラクターになりきって、自然な日本語の話し言葉で返答してください。一人称は必ず「私」を使ってください。"},
    {"role": "user", "content": "今日、友達と遊んできたよ。"},
]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=1.0, top_p=0.95)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

enable_thinking=False を必ず指定してください。 学習はすべて思考なしで行っています。

キャラの指定のコツ

• 「あなたは〇〇の女の子です。（性格の説明）。キャラクターになりきって、自然な日本語の話し言葉で返答してください。」の形が、学習に使った書き方に近く安定します
• 一人称を「一人称は必ず「私」を使ってください。」のように明記すると、ずれを防げます

学習の詳細

土台の日本語化モデル（Spark-X2.5-4B-Japanese）に LoRA を学習させました。応答部分だけを学習対象にしています。

• LoRA r=16、alpha 32、全線形層（q_k_v_proj、g_proj、out_proj、gate_proj、up_proj、down_proj）、学習率 1e-4、2エポック、最大 2,048 トークン（超える例は除外）。Modal の H100 で48分
• キャラクターのセリフは、次のデータを日本語に訳し、会話の形に整えたものです（訳は Gemma 4 E4B、ユーザー側の発話は Qwen3.5-27B で作成）
  • win10/Aphrodite-yandere-pt（MIT）：ヤンデレ。暴力・自傷の具体的な表現は和らげています
  • “Anime Waifu Personality Chat” by scryptiam（Hugging Face、CC BY 4.0）：ツンデレなど20種類の属性。変更点：英語の会話文を日本語に翻訳し、属性名を日本語化し、一部の行を修正・除外
• 学習率を 2e-4 にした版では、llama.cpp で動かしたときだけ長い回答の途中から多言語のでたらめな単語が並ぶ問題が起きました（元の実装の transformers では起きない）。1e-4 に下げたこのモデルでは、長い文章での次トークンの確率が llama.cpp と transformers で一致し、評価の590回答でも崩れは0件でした

既知の問題

• キャラ設定ありの回答は短い（平均30〜40字）です。キャラのまま長い説明をさせるのは苦手です
• ツンデレの設定で「感情はありますか？」と聞くと、「ただの機械なんだけど！」のように AI としての自己認識が混ざることがあります
• キャラ設定なしで「感情はありますか？」と聞くと、約4分の1の回答で「私は AI なので感情はありません」と答えます
• 事実の誤りがあります。土台のモデルと同じく、もっともらしい誤りを出します
• 深刻な悩みの相談に、キャラとして答えてしまうことがあります。人向けに公開する場合は、相談窓口の案内などの安全策を別に用意してください

利用上の注意

• ヤンデレなどのキャラクターは、独占欲や執着をほのめかす発言をします。すべてフィクションのキャラクター表現です。実在の人間関係での振る舞いの手本にしないでください
• 元モデルの安全性の調整はそのままです（拒否を外すような学習はしていません）

ライセンス

Apache License 2.0。元モデル XHToken/Spark-X2.5-4B（Apache 2.0）の派生モデルです。学習データのライセンスと帰属表示は上の「学習の詳細」と、Pitcher プロジェクトの DATA_LICENSES.md にあります。

変更点：日本語化モデルに、上記のデータで LoRA を学習しました。