Qwen3.8-27B-Uncensored-ninfer5080-5070ti

适用硬件 / Target GPU: RTX 5080 · RTX 5070 Ti（16 GB, Blackwell sm_120） 量化配方 / Recipe: groupwise-int-5080（Q3/Q4/Q5 混合, 15.33 GB）

NInfer engine native format — This is an abliterated (uncensored) build of Qwen3.8-27B, converted to the .ninfer format exclusively for the NInfer inference engine. It is not a generic HF safetensors checkpoint and cannot be loaded with transformers directly; it requires the NInfer engine.

NInfer 引擎特供格式 —— 这是 Qwen3.8-27B 的 abliterated（去对齐 / 破限）版本，专为 NInfer 推理引擎转换的 .ninfer 格式（不是通用 HF safetensors，无法用 transformers 直接加载）。

简介 / Overview

Qwen3.8-27B 的社区破限版，量化配方 groupwise-int-5080（Q3/Q4/Q5 混合，15.33 GB），适配 16GB 显存的 RTX 5070 Ti / 5080。

An abliterated (refusal-direction-removed) build of Qwen3.8-27B, quantized with the groupwise-int-5080 recipe (mixed Q3/Q4/Q5, 15.33 GB), targeting 16 GB cards (RTX 5070 Ti / 5080).

致谢 / Acknowledgements

站在以下工作之上 / Built on top of:

基座模型 Base model: Qwen/Qwen3.8-27B — Alibaba Tongyi Qianwen
破限权重 Abliterated weights: vkshdev/Qwen-3.8-28B-uncensored — ZeroFuse abliteration
NInfer 引擎 Engine: Neroued/ninfer — original author Neroued
量化配方 + Windows 移植 Recipe & Windows port: toddballinger/ninfer-5080 — groupwise-int-5080 recipe + RTX 5070 Ti / 5080 port
DFlash2 草稿模型 Draft model: z-lab/Qwen3.8-27B-DFlash2

感谢以上所有作者！Thanks to all authors above!

能力损失 / Capability Impact

破限（abliteration）不是重新训练，而是从权重中"正交化掉拒绝方向"。实测其对通用能力的影响很小，但在竞赛级难题上略有下降。

Abliteration removes the refusal direction rather than retraining. Its impact on general capability is small, with a slight drop on competition-level problems. The numbers below are from a quick in-house test (not an official benchmark).

经过简单测试（自出 48 道客观题，temperature=0，非官方 benchmark）结果：

轮次 Round	官方 Official	破限 Uncensored
基础 12 题 Basic	12	12
中等 12 题 Medium	12	12
竞赛 12 题 Competition	10	9
高中竞赛 12 题 Olympiad	9	8
总计 Total (48)	43	41

结论 / Conclusion:

日常任务（前 24 题：数学、常识、代码、逻辑）零差异 —— 两个模型完全一致。
竞赛难题上破限版少 2 分（约 4%），集中在两类题：① 自指逻辑（说谎者悖论「这句话是假的」）② 递推函数计算（f(x+1)=f(x)+2x+1 求 f(3)）。
Everyday tasks (first 24: math, common sense, code, logic) show zero difference. On competition problems the uncensored build scores 2 fewer points (~4%), concentrated in two areas: (1) self-referential logic (the liar paradox), (2) recursive function evaluation.

性能表现 / Performance

RTX 5070 Ti（本机实测，16GB / 70 SM / 896 GB/s）

配置 Config	prefill	decode
8192 ctx + MTP-3 + CUDA graph	~1300 tok/s	~65 tok/s
8192 ctx + vision + MTP-3	~1600 tok/s	~68–70 tok/s
65536 ctx 纯文本 (text-only)	—	~41 tok/s

图片识别（--vision）在 16GB 卡上需把上下文降到 8192（16384 差 85 MB 显存装不下）。
Vision on 16 GB cards needs --max-context 8192 (16384 is 85 MB over budget).

RTX 5080（预计 / Expected, 16GB / 84 SM / 960 GB/s）

指标 Metric	预计值 Expected
prefill	~1378 tok/s
decode	~71 tok/s
MTP 接受率 acceptance	~44.7%

5080 比 5070 Ti 多 14 SM、带宽高 7%；decode 是带宽受限、prefill 是算力受限，所以分别 +7% / +6%。显存同为 16GB，vision 的上下文档位与 5070 Ti 相当。
The 5080 has 14 more SMs and 7% more bandwidth than the 5070 Ti. Decode is bandwidth-bound and prefill is compute-bound, giving +7% / +6% respectively. VRAM is the same 16 GB, so the vision context ceiling is comparable.

文件 / Files

qwen3_8_27b_uncensored.ninfer — 主权重 (15.33 GB) / main weights
qwen3_8_27b_uncensored.ninfer.conversion.json — 转换元数据 / conversion metadata

使用 / Usage

需要 NInfer 引擎（Windows 版见 ninfer-5070ti）。

Requires the NInfer engine (Windows build: see ninfer-5070ti).

ninfer-serve.exe qwen3_8_27b_uncensored.ninfer --host 127.0.0.1 --port 8100 `
  --max-context 65536 --kv-dtype q4 --spec mtp --draft-tokens 3 --embedding-host `
  --model-id m

图片识别版追加 --vision 并把 --max-context 降到 8192。 / For vision, add --vision and lower --max-context to 8192.

免责声明 / Disclaimer

本模型是社区 abliteration 版本，仅供研究与个人创作用途。请遵守当地法律法规，勿用于生成违法或有害内容。

This is a community abliteration build for research and personal creative use only. Comply with local laws and do not use it to generate illegal or harmful content.

YukinoKaorisuna/Qwen3.8-27B-Uncensored-ninfer5080-5070ti