English注册

ryugyosoft/llm-jp-4.1-8b-thinking-nf4-onw

来源：🤗text-generationapache-2.0激活 8B6.1 GBother✓ 7 个校验和2 天前更新
或提交种子

llm-jp-4.1-8b-thinking NF4 for onw — Lunar Lake 以降の Intel NPU 専用の高速版

日本語 | English

llm-jp/llm-jp-4.1-8b-thinking を onw（俺のNPUがこんなに動くわけない）用に変換したモデルの、重みを NF4 中心にした版です。通常版（INT4）は ryugyosoft/llm-jp-4.1-8b-thinking-onw。

Lunar Lake（Core Ultra シリーズ 2、NPU 4000）以降の NPU 専用です。 NF4 は NPU 4 以降のハードウェアでしか計算できず、Meteor Lake・Arrow Lake（NPU 3720）では動きません（onw 2.1.0 以降の onw ウィンドウは、Lunar Lake 以降の PC でだけモデル一覧に出します。NPU 3720 の PC は通常版を使ってください）。

国立情報学研究所（NII）の LLM-jp が日本語を中心に一から学習した思考型 8B（Llama 型、harmony 形式で必ず考えてから答えます）です。モデルの説明・思考とツール呼び出しの使い方は通常版のカードを見てください。

この版の重みは、チャネル単位の NF4（NormalFloat4：4 ビットの 16 段階を正規分布の形に並べた量子化。倍率が 1 行に 1 つ）を基本に、誤差が出やすいアテンションの入力（q/k/v_proj）と MLP の出力（down_proj）だけをチャネル単位の INT8 にしています。通常版（グループ 128 の INT4）より元のモデルに近く、NPU の計算も軽くなるので、生成もプロンプト処理も速くなります。

Panther Lake（Core Ultra X7 358H、NPU 5010、メモリ 64 GB）・onw 2.1.0 通常版（INT4） この版（NF4）
生成速度 — 約 9.7〜10.0 tok/s
プロンプト処理（約 900 トークン） — 約 170 tok/s
プロンプト処理（約 3,600 トークン） — 約 87 tok/s
使用メモリ（onw のプロセスの専用メモリ／作業セットのピーク） — 約 11.0／11.6 GB
1 トークンあたりの電力量（パッケージ全体、生成中） — 約 1.2 J（平均 12 W）
ダウンロード 4.6 GB 6.1 GB
初回起動（NPU 向けコンパイル）／2 回目以降／キャッシュの大きさ — 約 10 分／約 15 秒／9.2 GB

（通常版は Panther Lake では未計測。電力量は Windows の Energy Meter のパッケージ全体の値で、画面などは含みません。Lunar Lake では未計測です。）

品質

元のモデル（bf16、CPU）と、同じ 512 トークンの文章で教師強制で比べた結果です（各位置の 1 位の予測の一致率と、確率分布の差 KL の平均）。

1 位の一致 KL（小さいほど元に近い）
通常版（INT4） 83.4% 0.132
この版（NF4＋INT8） 90.2% 0.053

使い方

  1. onw（エンジン）2.1.0 以降を入れます（onw の「インストール」）。
  2. onw ウィンドウの「モデル」タブで llm-jp-4.1-8B-thinking (NF4) を選び、「ダウンロード」を押します（6.1 GB。Lunar Lake 以降の PC でだけ表示されます）。
  3. 「サーバー」タブで「ロード」。初回だけ NPU 向けの準備に約 10 分かかります。あとは通常版と同じです。

上級者向け：hf download ryugyosoft/llm-jp-4.1-8b-thinking-nf4-onw で取得したフォルダを onw serve フォルダ で起動できます。

仕組み

  • 32 層を 8 層ずつ 4 区間＋出力層の区間にした静的グラフ（2 トークン用と 64 トークン用だけ。Lunar Lake 以降の onw は 2 トークン用のグラフで回答を生成し、貪欲生成では空いた 1 行で会話の中から見つけた下書きを確かめます）。
  • 区間の重み：o_proj・gate_proj・up_proj はチャネル単位 NF4（OpenVINO の nf4 型）、q/k/v_proj・down_proj はチャネル単位 INT8。出力層は INT8、埋め込みは INT4（ホストで参照）で通常版と同じです。重みは区間ごとに 1 ファイル（seg*.bin、2 トークン用と 64 トークン用で共有）。
  • onw 2.1.0 の試験的な「融合グラフ」（ONW_FUSED=1。区間ごとに NPU を 1 回呼ぶだけにする）では生成がさらに速くなります（Panther Lake で約 11.7 tok/s）が、コンパイル済みのキャッシュがモデルの約 6〜7 倍になるので既定ではオフです。詳しくは onw の技術解説。

ライセンス

Apache 2.0（元モデルと同じ）。重みは元モデルから再量子化・再構成したものです。学習はしていません。