Qwen2-7B-Instruct Quantized with AutoFP8
使用 larryvrh/belle_resampled_78K_CN 校准静态量化的 Qwen/Qwen2-7B-Instruct 模型。
主要为中文通常语言逻辑任务，为 vLLM 准备。
评估
使用 lm-evaluation-harness + vLLM 进行评估：
| 项目 | Qwen2-7B-Instruct | 此项目 | Recovery |
|---|---|---|---|
| ceval-valid | 81.87 | 81.65 | 99.73% |
| cmmlu | 81.78 | 81.26 | 99.36% |
| agieval_logiqa_zh (5 shots) | 47.63 | 48.54 | 101.91% |
| 平均 | 70.43 | 70.48 | 100.07% |