ggml-org/Qwen3.8-27B-GGUF

来源：🤗image-text-to-textapache-2.0激活 27B121 GBGGUF✓ 1 个校验和2 天前更新

Qwen3.8-27B

Run it in the Llama app: https://llama.app

Or from the terminal:

llama serve -hf ggml-org/Qwen3.8-27B-GGUF

[!IMPORTANT] This model is automatically converted using https://github.com/ggml-org/convert

加载中…

评论分享想法，塑造主权 AI 的未来。

@ggml-org 尚未认领使用同名 Hugging Face 账户或组织成员账户登录，以验证此用户名。认领 @ggml-org

文件与来源

来源可在 🤗 获取

校验和已记录 1 个

种子已收录磁力链接

节点群报告 2 个做种者

权重

4 位

8 位

16 位

模型家族

↑ 量化自 Qwen/Qwen3.8-27B

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

2× Intel Arc Pro B70llama.cpp · Q4_K_M · 3 次测试45.9 tok/s
```
# Remote endpoint: http://localhost:8010  servedModel: q
```
在 LocalMaxxing 上查看测试

Intel Arc Pro B70llama.cpp · Q4_K_M · 1 次测试27.8 tok/s

MODEL_DIR=/path/to/qwen3.8-27b-q4km BUILD_DIR=/path/to/llama.cpp/build-sycl-aot-bmg-g31 repro/qwen38-27b-q4km-tp1-b70/run-server.sh

来自 LocalMaxxing 的 4 次社区测试（2 种配置）的中位数。