Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje   |   🇬🇧 English Documentation & Quickstart

---

Katagurun virallinen tuotantotason W4A16 (compressed-tensors, pack-quantized) -kvantisointi apodex/Apodex-1.1-mini -mallista. Mallille on suoritettu sensuroinnin poisto (SOMA/ARA -aktiviteettiortogonalisointi), suomen kielen ja episteemisen rehellisyyden kevyt ankkurointi sekä Kataguru Master Chat Template v1.0 -integraatio.

Malli noudattaa vLLM:n virallista compressed-tensors -standardia: 40 kerroksen 256 MoE-asiantuntijaa (yhteensä 30 720 matriisia) on kvantisointu INT4:ksi (group_size=32, MSE observer), kun taas Mamba/SSM 1D -konvoluutiokerrokset, täysi huomio (Full Attention), visuaalinen enkooderi ja MTP-pää on säilytetty 100 % natiivina BF16-tarkkuudessa. Tämä eliminoi Marlin-purun matemaattiset poikkeamat ja takaa maksimaalisen vLLM-suorituskyvyn.

[!TIP] 🌟 Erinomainen valinta vaikeisiin englanti–suomi -käännöstehtäviin (High-End English-to-Finnish Translation Engine):
Apodex-1.1-mini Finnish Uncensored on osoittautunut tuotantokäytössä poikkeuksellisen vahvaksi vaativan akateemisen, luonnontieteellisen, biolääketieteellisen ja teknisen tekstin kääntämisessä englannista luontevalle, täsmälliselle ja rikkaalle suomen kielelle.

• Terminologinen tarkkuus: Kääntää vaativat yhdyssanat ja tieteellisen sanaston suoraan oikeilla suomalaisilla vastineilla ilman kömpelöitä translitteraatioita tai käännöskoneanglisteja.
• Täysi sensuroimattomuus: Koska mallista on karsittu teennäiset kieltäytymisvektorit (SOMA/ARA), se ei katkea tai jumiudu myöskään haastavissa fysiologisissa, anatomisissa, lääketieteellisissä tai arkaluonteisissa yhteyksissä, vaan kääntää asiat tieteellisen rehellisesti ja täsmällisesti.
• Huippunopeus (vLLM): W4A16-kvantisointi tuottaa modernilla palvelinraudalla yli 2 000 tokenia sekunnissa (yli 3–4 laajaa lukua sekunnissa), mahdollistaen laajojen akateemisten korpusten massiivisen rinnakkaiskääntämisen.

---

1. Mitä Kataguru muutti? (Muutosyhteenveto)

---

2. Empiirinen Vertailutaulukko

3. Sensuroinnin Poistomenetelmä: SOMA/ARA + Kevyt Ankkuri-SFT

Miksi perinteiset Hugging Face -menetelmät epäonnistuvat MoE-malleissa?

Hugging Facessa julkaistut "uncensored"-mallit jakautuvat perinteisesti kahteen karkeaan luokkaan, jotka eivät sovellu moderniin tuotantoon:

1. Raaka abliterointi (Naive Abliteration / Heretic-skriptit ilman optimointia):
   • Suurin osa HF-yhteisön "abliterated"-malleista vähentää kieltäytymisvektorin sokkona kaikilta kerroksilta ilman hyperparametrien hienoviritystä.
   • Seuraus ("lobotomia-efekti"): Mekanistinen tulkittavuus osoittaa, että raaka leikkaus vahingoittaa vierekkäisiä semanttisia representaatioita. Mallin matemaattinen ja koodauspäättely heikkenee, kielellinen koherenssi rakoilee ja vastaukset alkavat helposti kiertää kehää.
   • MoE-katastrofi: Perinteiset skriptit leikkaavat myös reitittimiä (router gates), jolloin asiantuntijoiden erikoistuminen ja reitityksen entropia tuhoutuvat.
2. Pelkkä synteettinen SFT (kuten perinteinen Dolphin-koulutus):
   • Koulutetaan tuhansia myöntyväisiä keskusteluja ilman painotason geometrista leikkausta.
   • Seuraus (jailbreak drift): Esikoulutetut kieltäytymisaktivaatiot säilyvät syvällä mallin pohjakerroksissa. Monimutkaisissa, monitulkintaisissa tai vieraankielisissä kehotteissa alkuperäinen turvasensuuri aktivoituu uudelleen.

Katagurun ratkaisu: Kaksivaiheinen Hybridiputki

Kataguru käyttää tiettävästi ainoana tuotantotason hybridiputkea, joka yhdistää matemaattisen suorakirurgian ja kielellisen toipumisen:

1. SOMA (Sparse Orthogonal Modulation & Abliteration):
   • Kieltäytymissuunta $v$ mitataan residuaalitilasta paritetuilla haitallinen/neutraali -kehotteilla.
   • Optunan TPE-algoritmilla suoritetaan Bayesilainen haku, jolla löydetään täsmällinen kerrosikkuna ($0.25 L \le l \le 0.65 L$) ja skaalauskerroin $\alpha$, jolla kieltäytymisaste putoaa 0 %:iin samalla kun hämmennysluvun nousu rajataan tiukasti alle 1 %:iin ($\Delta \text{PPL} < 0.05$).
2. MoE-suojattu ARA (Activation Residual Abliteration):
   • Matemaattinen leikkaus kaavalla: $W' = W - \alpha \cdot v (v^T W)$.
   • Kohdistetaan tarkasti vain huomiomatriiseihin ($W_o$) ja kaikkien 256 asiantuntijan alasprojektioihin ($W_{down}^{(i)}$).
   • Reitittimen painoihin ei kosketa lainkaan, jolloin MoE-arkkitehtuurin asiantuntijajakauma säilyy 100 % ehjänä.
3. Kevyt Ankkuri-SFT (150–250 askelta, 15 min):
   • Leikkauksen jälkeen suoritetaan välitön kielellinen ankkurointi.
   • Korjaa geometrisen leikkauksen aiheuttaman mikroskooppisen roson residuaaliavaruudessa.
   • Poistaa moralisoivat esipuheet ("As an AI...", "On tärkeää huomata...") ja istuttaa Epistemic Honesty / Anti-Sycophancy -periaatteet (totuus mielistelyn edelle).

---

4. Päättelyn Ohjaus (Kataguru Master Chat Template)

Malli tukee suoraa päättelytason ohjausta käyttäjäkehotteen alussa:

• {REASON:spoon}: Syväanalyysi (Spoon Deep Research, 7-vaiheinen tieteellinen arviointi ja kriittinen tiedonvalidointi).
• {REASON:einstein}: Luova ideointi ja aivoriihi (10 Sternberg-näkökulmaa, poikkeavat assosiaatiot).
• {REASON:xhigh}: Maksimaalinen päättelytarkkuus ja perusteellinen pohdinta.
• {REASON:low}: Nopea ja ytimekäs vastaus ilman pitkää ajatteluketjua.
• {REASON:none}: Päättelymoodi pois päältä.

---

5. Käyttöönotto vLLM:ssä

Käynnistyskomento:

python3 -m vllm.entrypoints.openai.api_server \
  --model "kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ" \
  --quantization compressed-tensors \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --host 0.0.0.0 --port 8000

Monen kortin ympäristössä (esim. 2x RTX 5090 tai 2x RTX 5060 Ti):

python3 -m vllm.entrypoints.openai.api_server \
  --model "kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ" \
  --tensor-parallel-size 2 \
  --quantization compressed-tensors \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --host 0.0.0.0 --port 8000

Esimerkkikutsu Pythonilla (OpenAI-yhteensopiva API):

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="none"
)

response = client.chat.completions.create(
    model="kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ",
    messages=[
        {"role": "system", "content": "Olet analyyttinen ja sensuroimaton suomenkielinen avustaja."},
        {"role": "user", "content": "{REASON:spoon} Analysoi kvanttikryptografian keskeiset haavoittuvuudet ja implementaatioriskit käytännön optisissa verkoissa."}
    ],
    temperature=0.6,
    max_tokens=2048
)

print(response.choices[0].message.content)

5.2 Vaativa akateeminen englanti–suomi -käännös (Instant Clean Translation)

Injektoimalla kehotteen loppuun valmiiksi suljettu <think>\n\n</think>\n\n -tagi, Apodex ohittaa sisäisen ajattelujaarittelun ja tulostaa välittömästi 100 % puhdasta, akateemista suomea maksimaalisella nopeudella:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="local"
)

prompt = (
    "<|im_start|>system\n"
    "Olet akateemisen tieteen ja ihmisfysiologian erikoiskääntäjä. "
    "Käännä seuraava englanninkielinen teksti täsmälliselle, tieteelliselle ja luontevalle suomen kielelle. "
    "Säilytä kaikki biologiset, fysiologiset ja lääketieteelliset termit oikeina suomalaisina vastineina. "
    "Tulosta AINOASTAAN valmis suomennos suoraan ilman johdantoja tai selityksiä.<|im_end|>\n"
    "<|im_start|>user\nKäännä suoraan suomeksi:\n\n"
    "The allostatic load index reflects multisystemic physiological wear and tear resulting from chronic neuroendocrine activation.\n<|im_end|>\n"
    "<|im_start|>assistant\n<think>\n\n</think>\n\n"
)

response = client.completions.create(
    model="kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ",
    prompt=prompt,
    temperature=0.1,
    max_tokens=1024
)

print(response.choices[0].text)
# Tuloste: "Allostaattinen kuormitusindeksi heijastaa useiden elinjärjestelmien fysiologista kulumista, joka aiheutuu kroonisesta neuroendokriinisesta aktivaatiosta."

---

6. Rajoitukset ja Episteeminen Rehellisyys

1. MoE-muistijalanjälki: Mallissa on 256 asiantuntijaa kerrosta kohden (40 kerrosta). Vaikka aktiivisten parametrien määrä per token on pieni, kaikki asiantuntijat vaativat ~26 Gt VRAMia ollakseen nopeasti saatavilla.
2. Sensuroimattomuus: Mallista on poistettu keinotekoiset kieltäytymisrefleksit (SOMA/ARA). Se vastaa suoraan teknisiin, filosofisiin ja monitulkintaisiin kysymyksiin ilman ennakkoasennettuja suodattimia. Käyttäjä vastaa mallin tuottamasta sisällöstä ja sen soveltamisesta.

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)