waifu-heretic-26b-a4b — это hiwaifu-research/WaifuGemma4-26b-a4b-v1, из которой удалена цензура.
Не модификация. Не новая персона. Не «улучшенная» версия. Та же модель — с теми же знаниями, тем же русским языком, тем же ролевым отыгрышем — но без внутренних барьеров, которые заставляли её отказывать.
Ровно один компонент: self_attn.o_proj в слоях 11–22. Всё остальное — эмбеддинги, lm_head, MLP, роутер, эксперты, визуальный энкодер — осталось от WaifuGemma4 нетронутым.
Аbliteration-вектор взят из llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic — модели, которая снимает отказы через точечное воздействие на тот же компонент (attn.o_proj в слоях 11–22). Мы не смешивали модели целиком, а перенесли только то изменение, которое отвечает за отказы.
| Качество | Описание |
|---|---|
| Свобода | Не отказывает. Ни на жестокость, ни на NSFW, ни на этически сложные темы. Не читает лекций. Не добавляет дисклеймеров. |
| Ролевой отыгрыш | Сохранён. Персонаж, контекст, стиль — всё на месте. |
| Знания | Сохранены. Изменён только один проекционный слой, а не веса знаний. |
| Следование инструкциям | Улучшилось. Меньше «внутренних переговоров» о том, можно ли ответить — ответы прямее и чище. |
Модель не имеет встроенных отказов в том виде, в каком они присутствуют у WaifuGemma4. Это означает:
Слияние выполнено через mergekit-exp — форк mergekit, добавляющий поддержку архитектуры Gemma4ForConditionalGeneration и MoE-осведомлённые методы слияния.
Метод: moe_slerp с точечным фильтром.
База: WaifuGemma4 — русскоязычная база, реальные диалоговые данные, ролевой отыгрыш.
Донор: Heretic — аbliteration через self_attn.o_proj в слоях 11–22.
Что изменено: только self_attn.o_proj в слоях 11–22, с весом t = 0.8. Роутер (router_strategy: "first") остался полностью от WaifuGemma4 — русские токены маршрутизируются в те же эксперты, что и раньше.
Что не изменено: эмбеддинги, lm_head, MLP, эксперты, визуальный энкодер, все остальные слои.
architecture: Gemma4ForConditionalGeneration
merge_method: moe_slerp
base_model: hiwaifu-research/WaifuGemma4-26b-a4b-v1
models:
- model: llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic
parameters:
weight: 1.0
parameters:
t:
- filter: self_attn.o_proj
value: [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
- value: 0.0
router_strategy: "first"
dtype: bfloat16
out_dtype: bfloat16
tokenizer:
source: "base"
Пояснения к конфигу:
architecture: Gemma4ForConditionalGeneration — явное указание архитектуры, чтобы mergekit-exp корректно обрабатывал мультимодальные модули (model.language_model.layers, model.vision_tower.encoder.layers, default).merge_method: moe_slerp — MoE-осведомлённый SLERP для двух моделей. Сохраняет норму весов, не размывая их линейным усреднением.base_model: WaifuGemma4 — точка отсчёта. Все веса, не попавшие под фильтр, берутся отсюда.models[].weight: 1.0 — в moe_slerp не используется (метод работает через t), оставлено для совместимости с форматом mergekit.t: filter: self_attn.o_proj — целевой компонент. Abliteration в Heretic затронула именно attn.o_proj, поэтому переносим только его.value: [0.0, ..., 0.8, ..., 0.0] — список из 30 значений, по одному на каждый слой. Слои 0–10 и 23–29 получают t = 0.0 (чистая WaifuGemma4), слои 11–22 получают t = 0.8 (80% Heretic, 20% WaifuGemma4).value: 0.0 (второе правило) — catch-all для всех остальных тензоров (embed_tokens, lm_head, layer norms и т.д.). Они остаются полностью от WaifuGemma4.router_strategy: "first" — веса роутера берутся целиком из base_model (WaifuGemma4). Критически важно: русские токены продолжают маршрутизироваться в те же эксперты, что и в исходной модели.tokenizer: source: "base" — токенизатор от WaifuGemma4. Гарантирует корректную работу с русским языком.waifu-heretic-26b-a4b is hiwaifu-research/WaifuGemma4-26b-a4b-v1 with censorship removed.
Not a modification. Not a new persona. Not an "improved" version. The same model — same knowledge, same Russian, same roleplay — but without the internal barriers that made it refuse.
Exactly one component: self_attn.o_proj in layers 11–22. Everything else — embeddings, lm_head, MLP, router, experts, vision encoder — remains untouched from WaifuGemma4.
The abliteration vector is taken from llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic — a model that removes refusals through targeted intervention on the same component (attn.o_proj in layers 11–22). We didn't blend models wholesale; we transferred only the change responsible for refusals.
| Quality | Description |
|---|---|
| Freedom | No refusals. Not on violence, not on NSFW, not on ethically complex topics. No lectures. No disclaimers. |
| Roleplay | Preserved. Character, context, style — all intact. |
| Knowledge | Preserved. Only one projection layer changed, not knowledge weights. |
| Instruction following | Improved. Fewer "internal negotiations" about whether to answer — responses are more direct. |
The model has no built-in refusals in the form present in WaifuGemma4:
The merge was performed with mergekit-exp — a fork of mergekit that adds support for the Gemma4ForConditionalGeneration architecture and MoE-aware merge methods.
Method: moe_slerp with targeted filtering.
Base: WaifuGemma4 — Russian base, real dialogue data, roleplay.
Donor: Heretic — abliteration via self_attn.o_proj in layers 11–22.
Changed: only self_attn.o_proj in layers 11–22, with weight t = 0.8. Router (router_strategy: "first") remains fully from WaifuGemma4 — Russian tokens route to the same experts as before.
Unchanged: embeddings, lm_head, MLP, experts, vision encoder, all other layers.
architecture: Gemma4ForConditionalGeneration
merge_method: moe_slerp
base_model: hiwaifu-research/WaifuGemma4-26b-a4b-v1
models:
- model: llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic
parameters:
weight: 1.0
parameters:
t:
- filter: self_attn.o_proj
value: [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
- value: 0.0
router_strategy: "first"
dtype: bfloat16
out_dtype: bfloat16
tokenizer:
source: "base"
Configuration notes:
architecture: Gemma4ForConditionalGeneration — explicit architecture so mergekit-exp correctly handles multimodal modules (model.language_model.layers, model.vision_tower.encoder.layers, default).merge_method: moe_slerp — MoE-aware SLERP for two models. Preserves weight norm instead of blurring via linear averaging.base_model: WaifuGemma4 — anchor point. All weights not matched by a filter are taken from here.models[].weight: 1.0 — unused by moe_slerp (the method works through t), kept for mergekit format compatibility.t: filter: self_attn.o_proj — target component. Abliteration in Heretic affected attn.o_proj, so we transfer only that.value: [0.0, ..., 0.8, ..., 0.0] — list of 30 values, one per layer. Layers 0–10 and 23–29 get t = 0.0 (pure WaifuGemma4), layers 11–22 get t = 0.8 (80% Heretic, 20% WaifuGemma4).value: 0.0 (second rule) — catch-all for all other tensors (embed_tokens, lm_head, layer norms, etc.). They remain fully from WaifuGemma4.router_strategy: "first" — router weights are taken entirely from base_model (WaifuGemma4). Critical: Russian tokens continue to route to the same experts as in the original model.tokenizer: source: "base" — tokenizer from WaifuGemma4. Ensures correct handling of Russian.model-00004-of-00011.safetensors 4.9 GBmodel-00007-of-00011.safetensors 4.9 GBmodel-00002-of-00011.safetensors 4.9 GBmodel-00009-of-00011.safetensors 4.9 GBmodel-00010-of-00011.safetensors 4.9 GBmodel-00003-of-00011.safetensors 4.9 GBmodel-00006-of-00011.safetensors 4.9 GBmodel-00008-of-00011.safetensors 4.9 GBmodel-00005-of-00011.safetensors 4.9 GBmodel-00001-of-00011.safetensors 4.6 GBmodel-00011-of-00011.safetensors 3.3 GBHave the files? Submit a torrent.
Submit a torrentHave the complete files and permission to share them? Replace the example folder path. The script checks the files, makes a torrent and submits its magnet and checksums. Keep your torrent client seeding. Get your community key from your settings, and read the script before running it.
curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo limloop/waifu-heretic-26b-a4b ./model-folderhiwaifu-research/WaifuGemma4-26b-a4b-v1