UnstableLlama/SERA-14B-exl3

🤗 Hugging Face 来源apache-2.0激活 14B44 GBother⚠ 没有 SHA-256 权重今天更新

一条命令提交

在你的模型文件夹旁边运行它。它会制作种子、将文件与 Hugging Face 比对，然后提交。你只需开始做种，并粘贴你账户中的密钥。它只读取你的文件，绝不修改。如果愿意，可以先阅读脚本。

curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo UnstableLlama/SERA-14B-exl3 ./model-folder

>> allenai / SERA-14B

[QUANTS BY :: UnstableLlama] // Information exl3 quantizations of SERA-14B via exllamav3.

Repo generated automatically with ezexl3. // Repo Data

REVISION	GiB	KL DIV	PPL
2.00bpw	5.08	0.3344	11.2076
3.00bpw	6.62	0.0663	9.3265
4.00bpw	8.15	0.0174	9.1251
5.00bpw	9.69	0.0047	9.1056
6.00bpw	11.23	0.0015	9.0675
bf16	27.51	0.0000	9.0610

SVG Catbench

3.00 bpw

4.00 bpw

5.00 bpw

6.00 bpw

BF16

// CLI Download huggingface-cli download UnstableLlama/SERA-14B-exl3 --revision "6.00bpw" --local-dir ./