Mirror of Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp from ModelScope. All credit to the original authors. Not an official release from them. License unchanged (mit).
DeepSeek-V4-Flash-w8a8-mtp
1. 基本信息
| 项目 | 信息 |
|---|---|
| 原始模型名 | DeepSeek-V4-Flash |
| 原始模型链接 | deepseek-ai/DeepSeek-V4-Flash |
| 精度测试机型 | Atlas 800T A2 1台 |
| 精度测试平台 | docker vllm-ascend |
| 版本 | vllm-ascend:v0.13.0rc3 |
| 链接 | quay.m.daocloud.io/ascend/vllm-ascend:v0.13.0rc3 |
2 量化脚本：
现已集成一键量化
msmodelslim quant \
--model_path ${model_path} \
--save_path ${save_path} \
--model_type DeepSeek-V4-Flash \
--quant_type w8a8 \
--trust_remote_code True
3 精度测试结果
| 模型名 | 量化格式 | 数据集 | 测试精度 % | 官方精度 % | 备注 |
|---|---|---|---|---|---|
| DeepSeek-V4-Flash-w8a8-mtp | w8a8 | gpqa | 71.21 | 71.2 | V4-Flash Non-Think |
| DeepSeek-V4-Flash-w8a8-mtp | w8a8 | mmlupro | 82.85 | 83.0 | V4-Flash Non-Think |
| DeepSeek-V4-Flash-w8a8-mtp | w8a8 | mmlupro | 85.86 | 86.2 | V4-Flash Max |
- 使用ais_bench,其中
Non-Think模式max_out_len = 65536，Max模式max_out_len = 131072。精度存在波动，建议多次测试。
4 思考模式开启方法
4.1 Curl指令：
Non-Think： 不加思考参数
High： "chat_template_kwargs": {"thinking": true, "reasoning_effort": "high"}
Max： "chat_template_kwargs": {"thinking": true, "reasoning_effort": "max"}
4.2 Ais_bench Benchmark：
Non-Think： 不加思考参数
High：
generation_kwargs=dict(
....
chat_template_kwargs = {"thinking": True, "reasoning_effort": "high"}
)
Max：
generation_kwargs=dict(
....
chat_template_kwargs = {"thinking": True, "reasoning_effort": "max"}
)