ELYZA-Thinking-1.0-llm-jp-4-33b EXL3
ELYZAが公開する ELYZA-Thinking-1.0-llm-jp-4-33bを、ExLlamaV3のEXL3形式へ量子化した非公式の派生モデルです。元モデルはLLM-jpの33B denseモデルを基盤として、ELYZAが追加学習した日本語・英語のthinking modelです。
Variants
1つのrepository内のbranchでvariantを選択します。ダウンロード時に --revision を指定してください。main はモデルカードと補助資料を収録しています。
| Variant / revision | Decoder target bpw | LM head | 重みのみ | 配布ファイル合計 |
|---|---|---|---|---|
| 3.5bpw_H6 | 3.5 | H6 | 15.31 GiB | 約15.32 GiB |
| 4.0bpw_H6 | 4.0 | H6 | 17.13 GiB | 約17.14 GiB |
| 5.0bpw_H6 | 5.0 | H6 | 20.76 GiB | 約20.77 GiB |
| 6.0bpw_H6 | 6.0 | H6 | 24.39 GiB | 約24.41 GiB |
bpw はdecoder重みの目標bitrate、H6 はLM headを6 bpwで変換したことを表します。モデル全体の平均bitrateを表す名前ではありません。サイズはGiB（2³⁰ bytes）です。配布サイズと推論時のVRAM使用量は異なり、必要なVRAMはcontext、KV cache、batch size、runtime設定にも依存します。
全4種類の量子化は完了しています。生成と速度の確認対象は 4.0bpw_H6 です。3.5／5.0／6.0の生成・速度は、このカード作成時点では未確認です。全4種類のqbench（BF16との分布比較）は実施済みです。MT-Benchは実施していません。
Download
4.0bpw H6をダウンロードする例（PowerShell）:
hf download shunmoridev/elyza-thinking-1.0-llm-jp-4-33b-exl3 `
--revision 4.0bpw_H6 `
--local-dir .\models\elyza-thinking-1_0-llm-jp-4-33b-exl3-4_0bpw_H6
他のvariantはrevisionを 3.5bpw_H6、5.0bpw_H6、6.0bpw_H6 に変更してください。元モデルのcustom tokenizerを読み込むruntimeに備え、ローカルのモデル名は上の例のように小数点を _ に置き換えると扱いやすくなります。
Usage with TabbyAPI
EXL3重みはExLlamaV3向けです。TabbyAPIでOpenAI互換APIとして利用できます。以下は対応するCUDA版PyTorch、ExLlamaV3、TabbyAPIをインストール済みのWindows環境向けです。
TabbyAPIのディレクトリから上のdownloadコマンドを実行し、config_elyza.yml を作成します。
network:
host: 127.0.0.1
port: 5000
disable_auth: true
api_servers: [OAI]
model:
model_dir: ./models
model_name: elyza-thinking-1_0-llm-jp-4-33b-exl3-4_0bpw_H6
backend: exllamav3
max_seq_len: 8192
cache_size: 8192
cache_mode: 4,4
max_batch_size: 1
chunk_size: 512
output_chunking: true
harmony: true
python main.py --config .\config_elyza.yml
別のPowerShellから生成する例:
$requestBody = @{
model = "elyza-thinking-1_0-llm-jp-4-33b-exl3-4_0bpw_H6"
messages = @(@{role = "user"; content = "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"})
temperature = 0.6
top_p = 0.95
max_tokens = 4096
stream = $false
} | ConvertTo-Json -Depth 6
Invoke-RestMethod -Uri "http://127.0.0.1:5000/v1/chat/completions" `
-Method Post -ContentType "application/json; charset=utf-8" `
-Body ([System.Text.Encoding]::UTF8.GetBytes($requestBody))
disable_auth: true はlocalhost用の簡易設定です。外部に公開する場合は認証を有効にしてください。
Tokenizer / thinking
元モデルの tokenizer.json、tokenizer_config.json、llmjp4_tokenizer.py、llmjp4_harmony.py、chat template、generation configを保持しています。元モデルが推奨するsamplingは temperature=0.6、top_p=0.95 です。思考過程にも出力tokenを使用するため、生成上限には余裕を持たせてください。元モデルの使い方
確認環境のExLlamaV3 1.4.2にはUnigram tokenizerの互換性修正を適用しています。同じ環境を再現するためのpatchを patches/exllamav3-unigram-tokenizer.patch に収録しています。未修正の1.4.2での動作は確認していません。
4.0bpwでnative生成とTabbyAPI経由のstream生成を確認しました。ただし、使用したTabbyAPIでは思考文が content に入り、reasoning_content への分離確認を通過していません。思考・最終回答の分離とtool callingの互換性は、別途確認が必要です。元モデル側もthinkingを前提としており、reasoning effortの変更による思考量の制御は保証しません。
qbench — BF16との分布比較
2026-10-04、Windows / RTX 5090で全4種類を評価しました。英語のWikiText-2 raw test、10 × 2,048 tokens、元モデルのchat template付きです。KLDは20,480位置、PPLは20,470個の次token予測で集計しています。
| Model | PPL | Mean KLD | Median KLD | p90 KLD |
|---|---|---|---|---|
| ELYZA BF16 | 8.3400 | — | — | — |
| Noise floor | 8.3429 | 0.002325 | 0.000907 | 0.006840 |
| EXL3 3.5bpw_H6 | 8.5399 | 0.019992 | 0.007998 | 0.045652 |
| EXL3 4.0bpw_H6 | 8.4976 | 0.010378 | 0.004306 | 0.022719 |
| EXL3 5.0bpw_H6 | 8.3533 | 0.003857 | 0.001970 | 0.008739 |
| EXL3 6.0bpw_H6 | 8.3354 | 0.002358 | 0.001344 | 0.005496 |
KLDはKL(BF16基準 || 比較対象)、自然対数です。Noise floorはBF16の層出力に微小な乗算ノイズ（epsilon=2^-9、seed=1）を加えた参考値です。全条件でPPL計算時の非有限値の除外はありませんでした。
この固定サンプルでは量子化に伴う次token分布のズレを比較しています。日本語の回答の正誤や指示追従、思考・最終回答の分離は直接評価していません。層単位での評価なので、他variantのモデル全体を載せた生成・速度の確認とは別です。Noise floorとの差を純粋な量子化誤差と断定することもできません。
RTX 5090 speed — 4.0bpw_H6
2026-10-04、Windows 11 / RTX 5090 32GBで実測しました。各条件3回の中央値です。
| 入力token数 | Decode | Prefill（未cache部分） | First token（新規prompt） | First token（同一prompt再利用） |
|---|---|---|---|---|
| 512 | 57.48 tok/s | 1,830 tok/s | 0.321 s | 0.064 s |
| 2,048 | 57.27 tok/s | 1,845 tok/s | 1.176 s | 0.068 s |
| 4,096 | 54.91 tok/s | 1,772 tok/s | 2.377 s | 0.074 s |
上表は /v1/completions に元のchat templateで整形したpromptを渡した測定です。通常の /v1/chat/completions での短い質問の再利用時はfirst token 0.132秒 でした。95入力token中94tokenがcacheされていました。
測定条件:
- Batch 1、context / KV cache 8,192 tokens、KV cache
4,4、prefill chunk 512、speculative decoding無効。 - 日本語の繰り返し資料を含む入力、greedy decode、固定256生成tokens。warmupとmodel loadは時間から除外。
- 新規promptでは先頭付近の識別子を変更。ただし共通templateの87〜92tokensはcacheされており、prefill速度はcacheを除く新規token数で計算。
- First tokenはHTTP送信から最初の非空text deltaまで。思考の出力を含み、最終回答が始まる時間ではありません。Decodeも思考を含む全生成token数で計算。
- 測定リクエストはtemplateに
reasoning_effort=lowを指定。ELYZAで思考量が制御できることを示す測定ではありません。
同じ設定で続けて測定したLLM-jp 4.1 33B Thinking EXL3 4.0bpwの参考値は、Decode 53.63〜55.82 tok/s（各入力長の中央値）、Prefill 1,713〜1,762 tok/s、短いChat API質問のcache利用時first token 0.136秒でした。1台で順番に測定した結果であり、継続的な速度差を保証するものではありません。
集計値とcache token数は benchmarks/speed_summary.json、測定方法は benchmarks/README.md を参照してください。速度測定から量子化後の回答品質や元モデルとの同等性は判断できません。
Model / quantization details
| 項目 | 設定 |
|---|---|
| Source | elyza/ELYZA-Thinking-1.0-llm-jp-4-33b |
| Source revision | 6ca556b2ddc4642580752b3a1ae2d7e7681106fc |
| Architecture | Llama dense、64 layers、hidden size 5,120 |
| Source context / dtype | 65,536 tokens / BF16 |
| Decoder / head | 3.5 / 4.0 / 5.0 / 6.0 bpw、全variant H6 |
| EXL3 | ExLlamaV3 1.4.2、codebook mul1 |
| Calibration | ExLlamaV3同梱の標準混合corpus、250 rows × 2,048 tokens |
| Output scales / HQ | always / disabled |
| Shard target | 8,192 MiB |
| Conversion / speed environment | Windows 11、Python 3.12.10、PyTorch 2.9.0+cu128、CUDA 12.8、Triton Windows 3.5.1.post24 |
元モデルの65,536-token context全域での動作は確認していません。今回の速度測定は8,192-tokenのruntime設定です。使用commitとpatchのSHA-256は quantization_provenance.json に記録しています。
License / credits
モデルはApache License 2.0。LICENSEと、元モデルの著作権・派生元の表記を保持したNOTICEを同梱しています。ExLlamaV3用patchのコードには同ライブラリのMIT Licenseが適用され、patches/LICENSE.exllamav3 を添えています。EXL3変換によって重みを変更しています。量子化により元モデルの出力が変わる可能性があり、同じ回答やbenchmark scoreは保証しません。元モデルの詳細は公式モデルカードを参照してください。
- 元モデル: ELYZA
- 基盤モデル: LLM-jp / 国立情報学研究所
- 量子化runtime: ExLlamaV3
- API runtime: TabbyAPI