ScarletKc/ScarletKc-2.0 的 ExLlamaV3 (EXL3) 2.85 bpw 量化版本,专为 16 GB 显存显卡定制优化。
采用与 turboderp/Qwen3.8-27B-exl3 相同的 SCP(Self-Calibrated Precision,自校准 KLD 敏感度分配) 方法,并针对混合线性注意力(Gated DeltaNet / SSM)长文本稳定性及多模态视觉能力进行了精度强化。
exllamav3 1.6.7achieved_bpw: 2.8513,模型总大小约 11.93 GiB)linear_attn):核心递归与门控参数(A_log, dt_bias, conv1d, in_proj_a/b, norm)保持原生未量化 (bf16/fp32);线性投影层(in_proj_qkv, in_proj_z, out_proj)设定 3.5 bpw 保底(分布 3.5 ~ 5.0 bpw,均值 3.60 bpw),防止长上下文状态崩塌。self_attn):设定 3.0 bpw 保底(分布 3.0 ~ 4.0 bpw,均值 3.12 bpw)。gate/up/down_proj):按 KLD 敏感度动态分配 2.0 ~ 4.0 bpw(均值 2.58 bpw)。model.visual.*):拉满至 EXL3 最高档位 8-bit (-vb 8)(RMSE ~0.00001,近乎无损)。mtp.*):4-bit (-mb 4),完整支持原生 MTP 投机采样加速。lm_head):4-bit (-hb 4)。embed_tokens):保持原生 bfloat16(常驻系统内存或 SSD 流式读取,不占显存)。在单张 16 GB VRAM 显卡(实测环境:RTX 5070 Ti 16GB + TabbyAPI)下,同时开启 Q8 KV Cache、MTP 投机解码 和 Vision 多模态,最高可稳定运行 96K 上下文 (98,304 tokens):
15,195 MiB / 16,303 MiB(预留约 1.1 GiB 显存缓冲,兼顾视觉流式加载)49%(draft_num_tokens: 3)config.yml)model:
model_name: ScarletKc-2.0-exl3-SCP_2.85bpw
max_seq_len: 98304
cache_size: 98304
cache_mode: Q8
max_batch_size: 1
chunk_size: 2048
vision: true
vision_offload: true
embed_stream_from_disk: false # 内存充足建议设为 false;内存紧张可设为 true
draft:
draft_mode: mtp
draft_cache_mode: Q8
draft_num_tokens: 3
ScarletKc/ScarletKc-2.0)turboderp/Qwen3.8-27B-exl3)model-00001-of-00002.safetensors 8.5 GBmodel-00002-of-00002.safetensors 4.3 GBScarletKc/ScarletKc-2.0