このモデルは、国立情報学研究所によって開発されたllm-jp/llm-jp-4.1-8b-thinkingをIntel Corporationの開発するオープンなAIツールキットであるOpenVINOでの実行に適した中間表現に変換し、INT4量子化を行ったものです。
変換はOptimum-IntelとNNCFを用いて行われました。
推奨デバイス
・Intel ARCシリーズ(A/B) ・Intel Coreシリーズ ・Intel Xeonシリーズ
変換・動作検証環境
- Intel Core i5 14400F
- Intel ARC B570 10GB
- 48GB DDR4
速度等
オープンソースとして公開しているLLM Server Benchmarkを用いて測定しました。
| 指標 | INT8 | INT4 | 差 |
|---|---|---|---|
| TTFT median (s) | 0.419 | 0.388 | -7% |
| 生成速度 median (tok/s) | 41.6 | 64.8 | +56% |
| TPOT median (s) | 0.024 | 0.015 | -36% |
| prefill (tok/s) | 2,909 | 2,874 | ほぼ同等 |
| 並列集約 peak tok/s (p=8) | 269.7 | 392.1 | +45% |
| 並列数 | INT8 tok/s | INT4 tok/s |
|---|---|---|
| 1 | 38.5 | 59.6 |
| 2 | 75.3 | 112.0 |
| 4 | 144.7 | 214.6 |
| 8 | 269.7 | 392.1 |
エラー 0 / 全 190 リクエスト成功
INT8ではB570の10GB VRAMオーバーによりメインメモリへのオフロードが一部発生します。