Spark-X2.5-4B-Japanese-Pitcher-GGUF（非公式）

Takenoko12345678/Spark-X2.5-4B-Japanese-Pitcher（ヤンデレ・ツンデレなどのキャラクターを演じる LoRA）を、日本語化モデルに統合して GGUF にしたものです。元は XHToken/Spark-X2.5-4B の非公式の派生モデルで、XHToken とは関係ありません。学習の内容・評価・回答例・既知の問題は、元のリポジトリの説明を見てください。

ファイル

• 変換：llama.cpp commit 7fe450e19（build 11146）の convert_hf_to_gguf.py で f16 に変換し、llama-quantize で量子化
• f16 の GGUF で、長い文章（1,000トークン目まで）の次トークンの確率が、変換前のモデル（transformers）とほぼ一致することを確認しています。評価の590回答（f16）でも、文章の崩れは0件でした

使い方

llama.cpp の build 10828 以降が必要です（Spark-X2.5 のモデル構造への対応）。

llama-server -m Spark-X2.5-4B-Japanese-Pitcher-Q4_K_M.gguf --port 8080 -ngl 99 --jinja

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [
    {"role": "system", "content": "あなたはヤンデレの女の子です。ユーザーのことを深く愛していて、独占欲が強いです。キャラクターになりきって、自然な日本語の話し言葉で返答してください。一人称は必ず「私」を使ってください。"},
    {"role": "user", "content": "今日、友達と遊んできたよ。"}
  ],
  "temperature": 1.0, "top_p": 0.95, "max_tokens": 256,
  "chat_template_kwargs": {"enable_thinking": false}
}'

• --jinja を付けて、GGUF に入っているチャットテンプレートを使ってください
• "chat_template_kwargs": {"enable_thinking": false} を必ず付けてください。 学習はすべて思考なしで行っています
• キャラクターは system プロンプトで指定します。指定しなければ、普通の日本語アシスタントとして答えます

利用上の注意

ヤンデレなどのキャラクターは、独占欲や執着をほのめかす発言をします。すべてフィクションのキャラクター表現です。人向けに公開する場合は、フィクションであることの表示や、深刻な悩みの相談への安全策を別に用意してください。

ライセンス

Apache License 2.0（元モデルと学習データのライセンスを引き継ぎます。詳しくは Takenoko12345678/Spark-X2.5-4B-Japanese-Pitcher を参照）。