Spark-X2.5-4B-Japanese-GGUF（非公式）

Takenoko12345678/Spark-X2.5-4B-Japanese の GGUF 版です。元は XHToken/Spark-X2.5-4B を日本語向けに追加学習した非公式の派生モデルで、XHToken とは関係ありません。学習の内容・評価・回答例・既知の問題は、元のリポジトリの説明を見てください。

ファイル

llama.cpp などで使う場合は1ファイル版（Q8_0 または Q4_K_M）を、ブラウザで読み込む場合は Q4_K_M を6分割した版を使ってください。分割版を使うときは、6ファイルすべてを同じフォルダに保存してください。分割版の中身は Q4_K_M の1ファイル版と同じです。

• 変換：llama.cpp commit 7fe450e19（build 11146）の convert_hf_to_gguf.py で f16 に変換し、llama-quantize で量子化
• f16 の GGUF は、元のリポジトリの重み（bf16）と同じ精度で大きいため公開していません。必要な場合は、元のリポジトリの重みを上記の convert_hf_to_gguf.py で変換してください
• f16 の貪欲法の回答は、変換前のモデルを transformers（bf16）で動かした回答と一致することを確認しています（元の Spark-X2.5-4B で60問すべて一致）
• 量子化版の比較は、同じ60問を貪欲法で解かせたもの

使い方

llama.cpp の build 10828 以降が必要です（Spark-X2.5 のモデル構造への対応）。Homebrew の llama.cpp 0.5.0（build 11146）で動作を確認しています。

llama-server -m Spark-X2.5-4B-Japanese-Q8_0.gguf --port 8080 -ngl 99 --jinja
# 分割版を使う場合は1つ目のファイルを指定する
llama-server -m Spark-X2.5-4B-Japanese-Q4_K_M.gguf-00001-of-00006.gguf --port 8080 -ngl 99 --jinja

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "雨の日の過ごし方を教えて。"}],
  "temperature": 1.0, "top_p": 0.95, "max_tokens": 512,
  "chat_template_kwargs": {"enable_thinking": false}
}'

• --jinja を付けて、GGUF に入っているチャットテンプレートを使ってください
• "chat_template_kwargs": {"enable_thinking": false} を必ず付けてください。 学習はすべて思考なしで行っています。付けないと思考モードになり、<think> の推論から始まります

ブラウザ上の推論ページ: project.arils.jp/Spark。初回は約2.6 GBのモデルをダウンロードし、推論は対応ブラウザ内で行います。WebGPUやメモリ容量などの環境によっては動作しません。

ライセンス

Apache License 2.0（元モデルと学習データのライセンスを引き継ぎます。詳しくは Takenoko12345678/Spark-X2.5-4B-Japanese を参照）。