Qwen2.5-14B-Instruct FP8 Static Quantized with KVCache

使用 m-a-p/COIG-CQIA zhihu subset 校准静态量化的 Qwen/Qwen2.5-14B-Instruct 模型，可启用 fp8 kv cache。

subset 中主要为中文通常语言逻辑任务，为 vLLM 准备。

使用

参数加入 kv_cache_dtype="fp8"

评估

使用 lm-evaluation-harness + vLLM 进行评估（A100 with no FP8 support）：

lm_eval --model vllm --model_args pretrained=MODEL_DIR,kv_cache_dtype=fp8,add_bos_token=True --tasks gsm8k --num_fewshot 5 --batch_size auto

得分

Prefill 速度

Decode 速度