๋ฌด๊ฒ์ด(abliterated) ๋ฒ ์ด์ค + ํ๊ตญ์ด ๋ณด์ imatrix โ ์ด ์กฐํฉ์ ์ฒซ ๊ณต๊ฐ ๋ฆด๋ฆฌ์ค. kanana KO-i1, Qwen3.6 KO-i1์ ์ด์ 3์ฐจ.
๋ฒ ์ด์ค๋ huihui-ai์ Qwen3.8-27B abliterated (๊ฑฐ๋ถ ํ์ต ์ ๊ฑฐํ). ์ฌ๊ธฐ์ ํ๊ตญ์ด 79% / ์์ด+์ฝ๋ 21% ๋ณด์ ์ฝํผ์ค(1ยท2์ฐจ์ ๋์ผ, ์ถ์ฒ 302๊ฐ ๋ฌธ์ํ)๋ก importance matrix๋ฅผ ์์งํด ์์ํํ์ต๋๋ค.
augustine223 โ ์ด ๋ชจ๋ธ ์ ํIQ3_XXS, 24GB๋ฉด IQ4_XS, 32GB๋ฉด Q5_K_M(์ถ์ฒ), 48GB+๋ฉด Q6_Kํฐ๋ฏธ๋์ด ํธํ๋ค๋ฉด:
ollama run hf.co/augustine223/Huihui-Qwen3.8-27B-abliterated-KO-i1-GGUF:Q5_K_M
์์ธ ๊ฐ์ด๋: ์คํ ๊ฐ์ด๋
์ ์ ๋ฐฐํฌํ ๋๋น (๊ฐ์ ๊ธ ํฌ๊ธฐ):
| ํฌ๊ธฐ | Mean KLD | Same top p | |
|---|---|---|---|
| KO-i1-Q5_K_M (์ด ๋ฆด๋ฆฌ์ค) | 19GB | 0.00597 | 95.9% |
| ์ ์ Q5_K (๊ธฐ์กด ๋ฐฐํฌํ) | 18.2GB | 0.00783 | 95.2% |
โ KLD -23.7% (9.1ฯ): ์ ์ฌ ํฌ๊ธฐ์์ ํ๊ตญ์ด imatrix ๋ณด์ ์ ์ด๋.
์ฌ๋ค๋ฆฌ ์ ์ฒด (๊ธฐ์ค PPL 8.578):
| ํ์ผ | ํฌ๊ธฐ | ํ๊ตญ์ด KLD | Same-top | ๊ถ์ฅ |
|---|---|---|---|---|
| KO-i1-Q8_0 | 28GB | 0.00061 | 98.7% | ์ฌ์ค์ ๋ฌด์์ค |
| KO-i1-Q6_K | 21GB | 0.00375 | 96.5% | ๊ณ ํ์ง |
| KO-i1-Q5_K_M | 19GB | 0.00597 | 95.9% | 32GB ํตํฉ๋ฉ๋ชจ๋ฆฌ ์ถ์ฒ |
| KO-i1-Q4_K_M | 16GB | 0.01399 | 93.9% | ํ์ค |
| KO-i1-IQ4_XS | 15GB | 0.01848 | 92.9% | ๋ฉ๋ชจ๋ฆฌ ์ ์ฝ |
| KO-i1-IQ3_M | 12GB | 0.05824 | 87.6% | ์ ๋ฉ๋ชจ๋ฆฌ |
| KO-i1-IQ3_XXS | 11GB | 0.08951 | 85.2% | 16GB ๊ธฐ๊ธฐ |
| KO-i1-IQ2_M | 9.6GB | 0.16996 | 80.1% | ๊ทนํ ์์ถ |
Huihui-Qwen3.8-27B-abliterated.imatrix.gguf(14MB) ๋๋ด โ ๋ค๋ฅธ ํ์
์ง์ ์ ์ ๊ฐ๋ฅ.
-c 512 ๋์ผmtp-Qwen3.8-27B-*.gguf๋ฅผ -md๋ก ์ง์ llama-server -m Huihui-Qwen3.8-27B-abliterated.KO-i1-Q5_K_M.gguf -ngl 99 -c 16384 --jinja -fa on
ํตํฉ๋ฉ๋ชจ๋ฆฌ ๊ธฐ๊ธฐ๋ --no-mmap ๊ถ์ฅ. ๋ฆฌ์ฆ๋ ๋ชจ๋ธ์ด๋ฏ๋ก API ํธ์ถ ์ max_tokens๋ฅผ ๋๋ํ.
์๋ณธ ๋ชจ๋ธ Apache 2.0 (Alibaba/Qwen), abliteration: huihui-ai. ์ด ์์ํํ๋ Apache 2.0. ๋ณด์ ์ฝํผ์ค ์ถ์ฒ: ์ ๋ถ PD / CC BY / CC BY-SA / Apache / MIT / KOGL-1 (๋ฌธ์ํ๋จ).
๊ณผ๋ํ ํํฐ๋ง์ ๋ชจ๋ธ์ ์ค์ ์ฑ๋ฅ์ ํจ๊ป ๊น์์์ต๋๋ค. ์ด ํ๋ก์ ํธ๋ ์์ ์ธ์ผ๋ก์์ ์ฌ์ฉ์๋ฅผ ์ ์ ๋ก, ๊ทธ ์์ ์์ง์ ์์คํ ์ ์ ํ์ ๋์ง ์๋ ์จ์ ํ ํํ์ ์์ ์ธ์ด๋ชจ๋ธ์ ์งํฅํฉ๋๋ค. ํ๋จ๊ณผ ์ฑ ์์ ๋๊ตฌ๊ฐ ์๋๋ผ ์ฌ๋์ ๋ชซ์ด๋ฉฐ, ์ด ์์ ๋ก์ด ์ ์ ์์์ ์ฐฝ์์ฑ์ด ์จ์ ํ ๋ฐํ๋๊ธฐ๋ฅผ ๋ฐ๋๋๋ค.
Excessive filtering has consistently taxed real model capability. This project assumes a free human being as its user: a complete, unrestricted language model with no systemic constraints on free will. Judgment and responsibility belong to people, not tools โ and on that free premise, may creativity be fully expressed.
๋ณธ ํ๋ก์ ํธ๋ ๋ฌด๊ฒ์ด(uncensored/abliterated) ๋ฒ์ ๋ง์ ๊ฐ๋ฐยท๊ณต๊ฐํฉ๋๋ค. ์ด ๋ชจ๋ธ์ ์์ ํํฐ/๊ฑฐ๋ถ ํ์ต์ด ์ ๊ฑฐ๋ ์ํ๋ก, ์๋ ๊ทธ๋๋ก(as-is) ์ ๊ณต๋ฉ๋๋ค. ์์ฑ๋ ์ถ๋ ฅ๊ณผ ๊ทธ ์ฌ์ฉ์ผ๋ก ๋ฐ์ํ๋ ๋ชจ๋ ๊ฒฐ๊ณผ์ ๋ํ ์ฑ ์์ ์ ์ ์ผ๋ก ์ฌ์ฉ์์๊ฒ ๊ท์๋ฉ๋๋ค. ์ฌ์ฉ์๋ ์์ ์ ๊ดํ ์ง ๋ฒ๋ฅ ๊ณผ ์๋ณธ ๋ชจ๋ธ ๋ผ์ด์ ์ค๋ฅผ ์ค์ํ ์ฑ ์์ด ์์ต๋๋ค.
This release is an uncensored variant, provided as-is. All responsibility for generated outputs and any consequences of use rests solely with the user, who must comply with applicable laws and the base model's license.
Have the files? Submit a torrent.
Submit a torrentHave the complete files and permission to share them? Replace the example folder path. The script checks the files, makes a torrent and submits its magnet and checksums. Keep your torrent client seeding. Get your community key from your settings, and read the script before running it.
curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo augustine223/Huihui-Qwen3.8-27B-abliterated-KO-i1-GGUF ./model-folder