casperhansen/deepseek-r1-distill-qwen-14b-awq

来源：🤗有风险🏴‍☠️ 救援者：Alogotronmit14.8B 参数56 GBsafetensors✓ 3 个校验和637 天前更新

磁力链接 0

此修订版本在 Hugging Face 上没有发布 README。

评论分享想法，塑造主权 AI 的未来。

@casperhansen 尚未认领使用同名 Hugging Face 账户或组织成员账户登录，以验证此用户名。认领 @casperhansen

文件与来源

来源可在 Hugging Face 获取

校验和已记录 3 个

种子文件与 Hugging Face 一致

节点群报告 0 个做种者

来源修订版本: bc43ec1bbf08…
记录时间: 2026年10月14日 01:35 UTC
节点群检查时间: 2026年11月7日 19:44 UTC
权重文件: 3
模型大小: 56 GB
下载量 · 上个月: 3,759
发布者: 未认领

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

CMP 170HX✓vllm · AWQ · 2 次测试97.4 tok/s

vllm serve casperhansen/deepseek-r1-distill-qwen-14b-awq --max-model-len 131072 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code

在 LocalMaxxing 上查看测试

RTX 3090✓vllm · AWQ · 8 次测试73.4 tok/s

vllm serve casperhansen/deepseek-r1-distill-qwen-14b-awq --max-model-len 131072 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code --kv-cache-dtype int4_per_token_head --attention-backend TRITON_ATTN

在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 10 次社区测试（2 种配置）的中位数。

自己运行：配置指南

查看来源记录第 28992 条 →

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

CMP 170HX✓vllm · AWQ · 2 次测试97.4 tok/s

vllm serve casperhansen/deepseek-r1-distill-qwen-14b-awq --max-model-len 131072 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code

在 LocalMaxxing 上查看测试

RTX 3090✓vllm · AWQ · 8 次测试73.4 tok/s

vllm serve casperhansen/deepseek-r1-distill-qwen-14b-awq --max-model-len 131072 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code --kv-cache-dtype int4_per_token_head --attention-backend TRITON_ATTN

在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 10 次社区测试（2 种配置）的中位数。

自己运行：配置指南