apolloparty/LFM2-350M-NVFP4A16

来源：🤗text-generationlfm1.0229M 参数301 MBsafetensors✓ 1 个校验和488 天前更新

Liquid: Playground Liquid Liquid Playground Playground # LFM2-350M-NVFP4A16

LFM2 is a new generation of hybrid models developed by Liquid AI, specifically designed for edge AI and on-device deployment. It sets a new standard in terms of quality, speed, and memory efficiency.

Find more details in the original model card: https://huggingface.co/LiquidAI/LFM2-350M

🏃 How to run LFM2 (NVFP4A16)

Require Blackwell GPU and vllm:

vllm serve apolloparty/LFM2-350M-NVFP4A16

评论分享想法，塑造主权 AI 的未来。

@apolloparty 尚未认领使用同名 Hugging Face 账户或组织成员账户登录，以验证此用户名。认领 @apolloparty

文件与来源

来源可在 🤗 获取

校验和1 个待记录

种子未收录

节点群未检查

来源修订版本: 90cbbb25ce2d…
记录时间: 尚未记录
权重文件: 1
模型大小: 301 MB
下载量 · 上个月: 28
发布者: 未认领

公开校验和记录将在下次同步时生成

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

RTX 5090✓sglang · NVFP4 · 1 次测试2231 tok/s

python3 -m sglang.launch_server --model-path /cache/huggingface/hub/models--apolloparty--LFM2-350M-NVFP4A16/snapshots/90cbbb25ce2d9b1437df3e8488d19ba0a8ca1117 --host 0.0.0.0 --port 8000 --served-model-name liquid-350m-nvfp4 --context-length 4096 --tensor-parallel-size 1

在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 1 次社区测试（1 种配置）的中位数。

自己运行：配置指南

apolloparty/LFM2-350M-NVFP4A16

🏃 How to run LFM2 (NVFP4A16)

为此模型做种