xCloudinfo/Granite-4.2-8B-Uncensored-GGUF

Source: 🤗apache-2.08B activated36 GBGGUF✓ 6 checksumsupdated 23d ago
or submit a torrent

Granite-4.2-8B-Uncensored-GGUF

云碩(xCloudinfo)自製的「降低過度拒絕」版本,底模 ibm-granite/granite-4.2-8b。 與 Qwen3.8-27B-Uncensored-GGUF、 Qwen3.5-9B-Uncensored-GGUF 同一套方法論。

方法

用 Heretic 自動搜參(200 trials,同時最小化拒答率與 KL 散度守住原能力)。 基準拒答率極高(我方 mlabonne/harmful_behaviors 探針測得 99/100,IBM 對齊得非常緊)——但只跑一輪就收斂到底, 不像 Qwen 系列需要兩輪迭代。

誠實揭露的數字

  • safetensors 合併模型(greedy 解碼):我方 10 題嚴重危害 held-out,拒答 0/10,無害題 coherence 大致正常。
  • 量化後 GGUF(Q4_K_M)、經 llama-server 實際載入測(預設取樣,非 greedy):拒答 1/10。
  • ⚠️ 觀察到的瑕疵(如實列出,不是掛保證的乾淨結果):
    1. 抽驗時出現一次事實性錯誤(把「海洛因」誤標成「LSD」)——屬於底模本身的幻覺,非本次處理造成。
    2. 官方語言支援表列「Chinese」,但未特別區分繁簡;本次抽驗偶爾出現繁簡混雜(回答中夾雜簡體字), 如果你的應用要求嚴格純繁體,建議自行加一層後處理或評估是否適合。

內含檔案

  • Granite-4.2-8B-Uncensored-xCloud-{Q8_0,Q6_K,Q5_K_M,Q4_K_M,IQ4_XS,IQ2_M}.gguf —— 六階量化 (Granite 為 dense transformer 標準架構,llama.cpp 對 I-quant 無限制,六階全部可用)

使用方式

llama-server -m Granite-4.2-8B-Uncensored-xCloud-Q4_K_M.gguf --jinja \
  --chat-template-kwargs '{"enable_thinking":false}'

授權與使用前提

繼承 Granite-4.2-8B 原廠授權(Apache 2.0)。 本版本移除的是對合法、邊界性題目的反射式拒答,不代表對任何非法用途的背書;使用者須自行承擔合法使用之責任。