ornith-ai/Ornith-1.5-9B-NVFP4

来源：🤗text-generationmit6.7B 参数8.8 GBsafetensors✓ 15 个校验和80 天前更新

磁力链接 2

Hugging Face 未响应

加载中…

评论分享想法，塑造主权 AI 的未来。

@ornith-ai 尚未认领使用同名 Hugging Face 账户或组织成员账户登录，以验证此用户名。认领 @ornith-ai

文件与来源

来源可在 🤗 获取

校验和已记录 15 个

种子已收录磁力链接

节点群报告 2 个做种者

来源修订版本: 155f200d85ad…
记录时间: 2026年9月19日 04:05 UTC
节点群检查时间: 2026年11月14日 04:48 UTC
权重文件: 15
模型大小: 8.8 GB
下载量 · 上个月: 1,123,712
发布者: 未认领

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

CMP 170HX✓vllm · NVFP4 · 4 次测试148 tok/s

vllm serve ornith-ai/Ornith-1.5-9B-NVFP4 --max-model-len 262144 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code --language-model-only --speculative-config {"method":"mtp","num_speculative_tokens":2}

在 LocalMaxxing 上查看测试

RTX 3090✓vllm · NVFP4 · 12 次测试122 tok/s

vllm serve ornith-ai/Ornith-1.5-9B-NVFP4 --max-model-len 262144 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code --language-model-only

在 LocalMaxxing 上查看测试

RTX 3060✓vllm · NVFP4 · 6 次测试53.7 tok/s

vllm serve ornith-ai/Ornith-1.5-9B-NVFP4 --max-model-len 65536 --gpu-memory-utilization 0.94 --max-num-seqs 73 --enable-prefix-caching --trust-remote-code --language-model-only --kv-cache-dtype fp8

在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 22 次社区测试（3 种配置）的中位数。

自己运行：配置指南

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

CMP 170HX✓vllm · NVFP4 · 4 次测试148 tok/s

vllm serve ornith-ai/Ornith-1.5-9B-NVFP4 --max-model-len 262144 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code --language-model-only --speculative-config {"method":"mtp","num_speculative_tokens":2}

在 LocalMaxxing 上查看测试

RTX 3090✓vllm · NVFP4 · 12 次测试122 tok/s

vllm serve ornith-ai/Ornith-1.5-9B-NVFP4 --max-model-len 262144 --gpu-memory-utilization 0.94 --max-num-seqs 128 --enable-prefix-caching --trust-remote-code --language-model-only

在 LocalMaxxing 上查看测试

RTX 3060✓vllm · NVFP4 · 6 次测试53.7 tok/s

vllm serve ornith-ai/Ornith-1.5-9B-NVFP4 --max-model-len 65536 --gpu-memory-utilization 0.94 --max-num-seqs 73 --enable-prefix-caching --trust-remote-code --language-model-only --kv-cache-dtype fp8

在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 22 次社区测试（3 种配置）的中位数。

自己运行：配置指南