llm-jp-4.1-8b-thinking-gguf
Model Summary
Note: The llm-jp project itself publishes an official GGUF (llm-jp/llm-jp-4.1-8b-thinking-gguf, BF16 + imatrix-calibrated Q4_K_M) and a llama.cpp fork (llm-jp/llama.cpp,
llmjp-harmony-handler) needed for chat/harmony parsing. For production use, prefer the official repository. This repository is an independent, uncalibrated Q4_K_M kept as a baseline for comparison, and documents a conversion workaround.
This is a GGUF conversion of llm-jp/llm-jp-4.1-8b-thinking (a Japanese reasoning LLM) for use with llama.cpp. All credit for the original model goes to the llm-jp project.
Note on tokenizer support
llm-jp-4.1 uses an HF-native Unigram tokenizer (tokenizer.json, no raw
sentencepiece binary), which llama.cpp's stock conversion script does not
support out of the box (it expects tokenizer.model and fails). This
repository was produced with a monkeypatched conversion script that reads
the (piece, score) vocabulary pairs directly from tokenizer.json's
model.vocab field. See
mlx-coreml-conversion-toolkit
for the full writeup.
Usage
llama-cli -m llm-jp-4.1-8b-thinking-Q4_K_M.gguf -p "日本の首都は" -n 64 --temp 0 --no-jinja
This is a reasoning model. When using the chat template (jinja), output may
include <|channel|>-style thinking blocks. For raw prompt completion,
--no-jinja is recommended (stock llama.cpp fails to parse this model's chat output with jinja, hence the official fork).
Specs
| Item | Value |
|---|---|
| Base model | llm-jp/llm-jp-4.1-8b-thinking (8B params) |
| Quantization | Q4_K_M (no imatrix / uncalibrated baseline) |
| Size | 5.05 GB (16.00 BPW -> 4.94 BPW) |
| Framework | llama.cpp GGUF |
Notes
- A Japanese-calibrated (imatrix) variant is under consideration separately; this repository is the uncalibrated baseline, comparable to masahiroid/llm-jp-4.1-8b-thinking-4bit-mlx (MLX 4bit, also uncalibrated).
- This is a community conversion, not an official release from the llm-jp project.
- Security audit uses model-audit-lite
(see
SECURITY.mdfor details).
Security
Audited against its upstream with model-audit-lite: weight format, chat template, bundled code, and a machine-readable lineage (ML-BOM). Details, checksums and how to reproduce: SECURITY.md.
モデルの概要
注記: llm-jpプロジェクト自身が公式GGUF (llm-jp/llm-jp-4.1-8b-thinking-gguf、 BF16 + imatrix付きQ4_K_M)と、チャット(harmony形式)の解析に必要な llama.cppフォーク(llm-jp/llama.cpp、
llmjp-harmony-handler)を 公開しています。実用には公式リポジトリを推奨します。 本リポジトリは比較用の キャリブレーション無しQ4_K_Mと、変換時の回避策の記録として残しているものです。
llm-jp/llm-jp-4.1-8b-thinking (日本語reasoning LLM)をllama.cpp用のGGUF形式に変換したものです。 元モデルの著作権はllm-jpプロジェクトに帰属します。
トークナイザーの対応について
llm-jp-4.1系はHFネイティブ形式のUnigramトークナイザー(tokenizer.json、
sentencepieceバイナリなし)を使用しており、llama.cppの標準変換スクリプトは
これに対応していません(sentencepiece.modelが見つからずエラーになります)。
本リポジトリはtokenizer.jsonのmodel.vocabから直接(piece, score)ペアを
読み込むモンキーパッチを適用した変換スクリプトで生成しています。詳細は
mlx-coreml-conversion-toolkit
を参照してください。
使い方
llama-cli -m llm-jp-4.1-8b-thinking-Q4_K_M.gguf -p "日本の首都は" -n 64 --temp 0 --no-jinja
このモデルはreasoningモデルです。チャットテンプレート(jinja)を使う場合は
出力に<|channel|>等の思考ブロックが含まれることがあります。素のプロンプト
補完で使う場合は--no-jinjaを推奨します。
Specs
| Item | Value |
|---|---|
| ベースモデル | llm-jp/llm-jp-4.1-8b-thinking(8B params) |
| 量子化 | Q4_K_M (キャリブレーションなしのベースライン) |
| サイズ | 5.05 GB (16.00 BPW → 4.94 BPW) |
| フレームワーク | llama.cpp GGUF |
備考
- 日本語キャリブレーション(imatrix)版は別途検討中です。本リポジトリは キャリブレーション無しのベースラインで、masahiroid/llm-jp-4.1-8b-thinking-4bit-mlx (MLX 4bit、同じくキャリブレーション無し)と同等の比較基準として使えます。
- 本変換は非公式のコミュニティ版です。llm-jpプロジェクトによる公式リリースではありません。
- セキュリティー監査にはmodel-audit-liteを
使用しています(詳細は
SECURITY.md)。
セキュリティー
model-audit-lite で変換元と突き合わせて監査済みです(重みの形式、chat template、同梱コード、機械可読な系譜=ML-BOM)。詳細・チェックサム・再現方法は SECURITY.md をご覧ください。