ggml-org/gpt-oss-20b-GGUF

来源：🤗有风险🏴‍☠️ 救援者：Sherpatext-generationapache-2.0激活 20B15 GBGGUF✓ 3 个校验和2 天前更新

gpt-oss-20b

Run it in the Llama app: https://llama.app

Or from the terminal:

llama serve -hf ggml-org/gpt-oss-20b-GGUF

[!IMPORTANT] This model is automatically converted using https://github.com/ggml-org/convert

评论分享想法，塑造主权 AI 的未来。

@ggml-org 尚未认领使用同名 Hugging Face 账户或组织成员账户登录，以验证此用户名。认领 @ggml-org

文件与来源

来源可在 🤗 获取

校验和已记录 3 个

种子已收录磁力链接

节点群报告 0 个做种者

权重

4 位

8 位

16 位

模型家族

↑ 量化自 openai/gpt-oss-20b

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

RTX 5080llama.cpp · MXFP4 · 1 次测试197 tok/s
```
# Remote endpoint: http://127.0.0.1:8081  servedModel: gpt-oss
```
在 LocalMaxxing 上查看测试
2× RTX 3090✓llama.cpp · MXFP4 · 2 次测试194 tok/s
```
# Remote endpoint: http://127.0.0.1:18082  servedModel: lmx-loop
```
在 LocalMaxxing 上查看测试

RX 9070 XT✓llama.cpp · MXFP4 · 2 次测试176 tok/s

llama-server -m gpt-oss-20b-MXFP4.gguf -fa on -c 8192 -np 1 --jinja (its --fit places what the card can't hold)

Ryzen AI Max 395✓custom · MXFP4 · 3 次测试79.0 tok/s
```
loculus serve gpt-oss-20b-MXFP4.gguf --gpu
```
在 LocalMaxxing 上查看测试

M1 Maxllama.cpp · MXFP4 · 1 次测试74.6 tok/s

/opt/homebrew/bin/llama-bench -m /Users/sgtpooki/Library/Caches/llama.cpp/gpt-oss-20b-MXFP4.gguf -p 512 -n 128

RTX 3060 Ti✓custom · MXFP4 · 3 次测试27.3 tok/s
```
loculus serve gpt-oss-20b-MXFP4.gguf --gpu
```
在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 13 次社区测试（7 种配置）的中位数。