Qwen3.6-35B-A3B (NF4) for onw — Lunar Lake 以降の Intel NPU で、速く・省メモリに

日本語 | English

Qwen/Qwen3.6-35B-A3B を onw（俺のNPUがこんなに動くわけない）用に変換したモデルの、Lunar Lake 以降専用の NF4 版です。通常版 とエキスパート（256 個 × 40 層、チャネル単位 INT4）は同じで、それ以外の重み（Gated DeltaNet、アテンション、共有エキスパート、ルーター）を元の bf16 から チャネル単位の NF4（フル アテンションの q/k/v だけ INT8）に変換し直しました。

Lunar Lake（Core Ultra シリーズ 2、NPU 4000）以降の NPU 専用です。 NF4 は NPU 4 以降でしかコンパイルできず、Meteor Lake・Arrow Lake（NPU 3720）では動きません（そちらは通常版を使ってください）。onw ウィンドウは Lunar Lake 以降の PC でだけ一覧に出します。onw 3.2.1 以降を使ってください。

測定（onw 3.2.1）

思考オフ、約 1,200 トークンのプロンプト。

Lunar Lake（16 GB）では、エキスパートを SSD から読みます（キャッシュ 6 GB）。そこでは SSD からの読み込みが 1 トークンの時間の 3 分の 1 以上を占めるので、速さは通常版と変わらず、メモリだけ減ります。

品質

同じ英文（README、200 トークン）を 1 トークンずつ読ませたときの、次のトークンの負の対数尤度（低いほど良い）：NF4 版 2.811、通常版（グループ単位 INT4）2.821。精度は通常版と同等か、わずかに良い結果でした。答えの言い回しは通常版と途中から分かれることがあります（量子化が違うため）。

使い方

1. onw 3.2.1 以降を入れます（onw の「インストール」）。
2. onw ウィンドウの「モデル」タブで Qwen3.6-35B-A3B (NF4) を選び、「ダウンロード」を押します（17 GB）。通常版をすでに持っていても、ファイルは別に取ります。
3. 「サーバー」タブでモデルを選んで「ロード」を押します。初回だけ NPU 向けの準備に数分かかります。
4. 「チャット」ですぐ試せます。他のアプリからは OpenAI 互換 API として使えます（base URL は http://localhost:8000/v1）。

上級者向け：hf download ryugyosoft/Qwen3.6-35B-A3B-nf4-onw で取得したフォルダを onw serve フォルダ で起動することもできます。

仕組み

• 41 区間＋出力層。各ルーターの直後で区切り、ホストが選ばれた 8 個のエキスパートの重みバッファを次の区間に結び付けます（前のトークンと同じエキスパートは結び付けたまま）。
• エキスパート以外の重みは、NPU が速く読めるチャネル単位の形式です（Panther Lake で、1 区間 1.3 → 1.0 ms）。
• プロンプトは、64 トークンずつのミキサー区間（seg*_S64m.xml）とエキスパートごとにまとめた行列積で処理します（メモリ 24 GB 以上の PC）。
• 詳しくは onw の技術解説。

ファイル

ライセンス

Apache 2.0（元モデルと同じ）。重みは元モデルから再量子化・再構成したものです。