These are non-imatrix FP16 here. i1-GGUF here.
The Q2_K is pretty good like 7B models.
有文件?提交种子。
已有完整文件并有权分享?请替换示例文件夹路径。脚本会校验文件、制作种子并提交磁力链接和校验和。请保持种子客户端做种。从设置页面获取社区密钥,运行前可先阅读脚本。
curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo h34v7/DXP-Zero-V1.2-24b-Small-Instruct-GGUF ./model-folder