ggml-org/gpt-oss-120b-GGUF

来源：🤗🏴‍☠️ 救援者：Sherpatext-generationapache-2.0激活 120B66 GBGGUF✓ 3 个校验和2 天前更新

gpt-oss-120b

Run it in the Llama app: https://llama.app

Or from the terminal:

llama serve -hf ggml-org/gpt-oss-120b-GGUF

[!IMPORTANT] This model is automatically converted using https://github.com/ggml-org/convert

加载中…

评论分享想法，塑造主权 AI 的未来。

@ggml-org 尚未认领使用同名 Hugging Face 账户或组织成员账户登录，以验证此用户名。认领 @ggml-org

文件与来源

来源可在 🤗 获取

校验和已记录 3 个

种子已收录磁力链接

节点群报告 7 个做种者

权重

4 位

8 位

16 位

模型家族

↑ 量化自 openai/gpt-oss-120b

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

Ryzen AI Max 395✓custom · MXFP4 · 3 次测试55.7 tok/s
```
loculus serve gpt-oss-120b-MXFP4.gguf --gpu
```
在 LocalMaxxing 上查看测试

RX 9070 XT✓llama.cpp · MXFP4 · 2 次测试13.2 tok/s

llama-server -m gpt-oss-120b-MXFP4.gguf -fa on -c 8192 -np 1 --jinja (its --fit places what the card can't hold)

来自 LocalMaxxing 的 5 次社区测试（2 种配置）的中位数。