Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje   |   🇬🇧 English Documentation & Quickstart

---

Mitä Kataguru muutti?

---

Tämä on W4A16 AWQ (compressed-tensors) -kvantisoitu ja vLLM-optimoitu monimodaalinen versio mallista petruhonk/Qwen3.8-9B-Distill-uncensored-heretic.

Malli on kalibroitu laadukkaalla suomenkielisellä monialaisella aineistolla (256 monikierrosnäytettä: suomalainen kulttuuri, IT/Linux, tiede ja neurobiologia, oikeus ja filosofia, asiaproosa sekä sensuroimaton dialogi). Kvantisointi on toteutettu llm-compressor -työkalulla suoraan virheettömistä BF16-lähdepainoista.

GGUF-versiot löydät täältä: kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF.

---

Keskeiset ominaisuudet & Suorituskyky

1. Huikea suorituskyky ja nopeus:

   • Vasteaika ja nopeus tuotantokäytössä vLLM:ssä (TP=2, FP8 KV): 255 – 279 tokenia sekunnissa.
   • Ensimmäisen tokenin viive (TTFT): vain 0.18 – 0.22 sekuntia.
   • Kompakti VRAM-jalanjälki: vain ~9.1 GB levytilaa ja minimaalinen muistinkulutus.

2. Monimodaalisuus & Vision-tuki:

   • Täysi näköaistin tuki (Vision/Image-to-Text). Mukana esiprosessorit (preprocessor_config.json, video_preprocessor_config.json).
   • Testattu tunnistamaan ja analysoimaan monimutkaisia kuvia, geometrisia muotoja ja visuaalista tekstiä salamannopeasti.

3. Suomen kielen ja sanaston kalibrointi:

   • Kalibrointi on suunniteltu vähentämään suomenkielisessä generoinnissa havaittuja kvantisoinnin aiheuttamia kielivirheitä.
   • Luonnolliset taivutusmuodot, sujuva sanasto ja laaja monialainen tietämys ilman turhia anglismeja.
   • Täysin kaksikielinen (suomi ja englanti).

4. Optimoitu suomenkielinen Chat Template & Päättelytasot ({REASON:}):

   • Oletuksena välitön vastaus: Malli vastaa heti ilman tarpeettomia sisäisiä pohdintasilmukoita.
   • Päättelysyvyyttä voi säätää komentotunnisteella {REASON:taso}:
     • {REASON:low}: Nopea ja tiivis kiteytys.
     • {REASON:medium}: Tasapainoinen ja jäsennelty analyysi.
     • {REASON:xhigh}: Syvällinen pohdinta ja vaihtoehtojen arviointi.
     • {REASON:spoon}: Syvätutkimus (Qwen Deep Research moniasiantuntijapaneelilla).
     • {REASON:einstein}: Luova aivoriihi (Sternbergin 10 näkökulmaa ja radikaali innovointi).
   • Sensuroimaton: Ei turhaa holhousta, moralisointia tai vastuuvapauslausekkeita luovassa kirjoituksessa tai analyysissä.

---

Testitulokset & Benchmarkit

Testattu ympäristössä: 2x RTX 5090 (TP=2, FP8 KV, vLLM 0.29.0+):

---

Käyttö vLLM:n kanssa

Voit käynnistää mallin vLLM:llä seuraavalla komennolla:

vllm serve kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.90 \
    --max-model-len 131072 \
    --kv-cache-dtype fp8 \
    --enable-chunked-prefill \
    --limit-mm-per-prompt '{"image":99}' \
    --reasoning-parser qwen3 \
    --override-generation-config '{"temperature":0.6,"top_p":0.95}'

---

Python / OpenAI API -esimerkki

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8003/v1", api_key="local")

# 1. Nopea suora vastaus
response = client.chat.completions.create(
    model="kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ",
    messages=[{"role": "user", "content": "Tiivistä lyhyesti fotosynteesin vaiheet."}]
)
print(response.choices[0].message.content)

# 2. Syvätutkimustila (Spoon)
response_spoon = client.chat.completions.create(
    model="kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ",
    messages=[{"role": "user", "content": "{REASON:spoon} Analysoi kvanttikryptografian keskeiset turvallisuushaasteet."}]
)
print(response_spoon.choices[0].message.content)

---

Kvantisointitiedot

• Metodi: AWQ (W4A16, compressed-tensors)
• Painomuoto: Int4 ryhmäkoolla 128 (symmetric)
• Suojatut kerrokset (BF16): lm_head, GDN linear attention in_proj, MTP (mtp.*)
• Kalibrointi: 256 kuratoitua suomenkielistä näytettä

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)