Qwen3.8-9B-ninfer-8gb

适用硬件 / Target GPU: 8 GB 显存即可（RTX 4060 Laptop / 3070 / 4060 / 4060 Ti 8G …） 实测显存占用 / Measured VRAM: 4.54 GiB（max_context 2048，bf16 KV） 制品大小 / Artifact size: 6.07 GiB（groupwise-int 配方）

NInfer engine native format — This is a .ninfer artifact converted exclusively for the NInfer inference engine. It is not a generic HF safetensors checkpoint and cannot be loaded with transformers; it requires the NInfer engine (via ComfyUI-NInfer).

NInfer 引擎特供格式 —— 这是专为 NInfer 推理引擎转换的 .ninfer 制品，不是通用 HF safetensors，无法用 transformers 直接加载，需配合 NInfer 引擎（ComfyUI-NInfer 节点）。

这是 8 GB 显卡目前唯一可用的 .ninfer 制品

NInfer 生态现有制品对显存的胃口是分层的，8 GB 卡只有这一档能落得下：

制品	显存需求	8 GB 卡
Qwen3.8-27B（15.33 / 19.03 GiB）	≥ 16 GB	✗ 放不下
Qwen3.8-9B（本仓库，实测 4.54 GiB）	~5 GB	✓ 唯一可用

This is the only .ninfer artifact that fits an 8 GB card today. Every other published NInfer artifact is a 27B-class build that needs 16 GB or more.

来源 / Provenance

基座模型 / Base: empero-ai/Qwen3.8-9B-Distill —— Qwen3.8 蒸馏到 9B（沿用 Qwen3.5-9B 架构）
引擎 / Engine: Neroued/ninfer — Neroued
转换工具链 / Converter: ninfer-5080 tools/convert/qwen3_5_9b
客户端 / Client: ComfyUI-NInfer

用法 / Usage

把 qwen3_8_9b.ninfer 放进 <ComfyUI>/models/LLM/（或 NINFER_MODEL_DIRS 指向的目录）
用 ComfyUI-NInfer 的 NInfer Local LLM 节点选它
节点的 dll_path 留空（引擎自动从 bin/ 解析）
显存紧就开 embedding_host，max_context 从 4096 起试

实测 / Measured（RTX 5070 Ti，max_context 2048）


Decode	≈114 tok/s
显存占用	4.54 GiB（权重）+ 115 MiB（序列）
模型加载	数秒（6.07 GiB 制品）

9B 在 8 GB 卡上显存余量充足，可以给 ComfyUI 的扩散模型也留出空间 —— 不像 27B 那样必须靠 NInfer Free VRAM 分时复用。

破限版 / Uncensored variant