imatrix GGUF quants
Execution tips from my private experience:
- don't quantize context
- use top_p 0.9, top_k 20, temp 0.6, min_p 0.05
ilintar/Apriel-Nemotron-15b-Thinker-iGGUF
一条命令提交
在你的模型文件夹旁边运行它。它会制作种子、将文件与 Hugging Face 比对，然后提交。你只需开始做种，并粘贴你账户中的密钥。它只读取你的文件，绝不修改。如果愿意，可以先阅读脚本。
curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo ilintar/Apriel-Nemotron-15b-Thinker-iGGUF ./model-folder