LiquidAI/LFM2.5-8B-A1B-GGUF

🤗 Hugging Face 来源text-generationlfm1.0激活 1B66 GBGGUF✓ 7 个校验和52 天前更新

Try LFM • Docs • LEAP • Discord

LFM2.5-8B-A1B-GGUF

LFM2 is a new generation of hybrid models developed by Liquid AI, specifically designed for edge AI and on-device deployment. It sets a new standard in terms of quality, speed, and memory efficiency.

Find more details in the original model card: https://huggingface.co/LiquidAI/LFM2.5-8B-A1B

🏃 How to run LFM2

Example usage with llama.cpp:

llama-cli -hf LiquidAI/LFM2.5-8B-A1B-GGUF --conversation \
    --temp 0.2 --top-k 80 --repeat-penalty 1.05

@LiquidAI 尚未认领使用 Hugging Face 登录以认领这个用户名。

认领 @LiquidAI

为此模型做种

有文件？提交种子。

提交种子 →

或

用一条命令打包文件

已有完整文件并有权分享？请替换示例文件夹路径。脚本会校验文件、制作种子并提交磁力链接和校验和。请保持种子客户端做种。从账户页面获取社区密钥，运行前可先阅读脚本。

curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo LiquidAI/LFM2.5-8B-A1B-GGUF ./model-folder

文件与来源

来源可在 Hugging Face 获取

校验和已记录 7 个

种子未收录

节点群未检查

来源修订版本: 49c14831707011e64d70b2ebd8462ba08d608434
记录时间: 2026年10月14日 14:11 UTC
权重文件: 7
模型大小: 66 GB
下载量 · 上个月: 245,624
发布者: 未认领

查看来源记录第 30757 条 →

真实硬件上的速度

LocalMaxxing

单个请求的输出速度，由在自己机器上运行此模型的用户实测。

RTX 5070llama.cpp · Q6_K · 1 次测试350 tok/s

llama-bench -m LFM2.5-8B-A1B-Q6_K.gguf -p 512 -n 128 -b 2048 -ub 512 -ngl -1 -o json -r 1

在 LocalMaxxing 上查看测试

RTX 3080llama.cpp · Q6_K · 2 次测试278 tok/s

llama-server \
  -m LFM2.5-8B-A1B-Q6_K.gguf \
  --host 127.0.0.1 --port 8099 \
  --device CUDA0 --n-gpu-layers 99 \
  --ctx-size 128000 \
  --flash-attn on \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --parallel 1 --jinja \
  --spec-type none

在 LocalMaxxing 上查看测试

2× RTX 3090llama.cpp · Q8_0 · 4 次测试259 tok/s
```
llama-server -m LFM2.5-8B-A1B-Q8_0.gguf -ngl 999 -fa1 -c 0
```
在 LocalMaxxing 上查看测试

2× RTX 3060llama.cpp · Q4_K_M · 7 次测试218 tok/s

llama-bench -m LFM2.5-8B-A1B-Q4_K_M.gguf -p 4096 -n 128 -ngl 24 -sm layer -fa on -ctk f16 -ctv f16 -r 5

在 LocalMaxxing 上查看测试

2× RX 570 4GBllama.cpp · Q4_K_M · 4 次测试160 tok/s
```
# Remote endpoint: http://192.168.1.182:8085  servedModel: LFM2.5-8B-Unsloth
```
在 LocalMaxxing 上查看测试

RX 570 4GBllama.cpp · Q4_K_M · 2 次测试74.7 tok/s

llama-server --model LFM2.5-8B-Unsloth --n-gpu-layers 32 --ctx-size 32768 --flash-attn on --threads 18 --threads-batch 18 --numa numactl --split-mode layer --parallel 1 --cache-type-k q4_0 --cache-type-v q4_0

在 LocalMaxxing 上查看测试

来自 LocalMaxxing 的 21 次社区测试（7 种配置）的中位数。

自己运行：配置指南