Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje   |   🇬🇧 English Documentation & Quickstart

---

Tämä on W4A16 AWQ (compressed-tensors) -kvantisoitu versio mallista DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, kalibroituna erikseen rikkaalla suomenkielisellä monialaisella aineistolla (256 monikierrosnäytettä: kaunokirjallisuus, asiateksti, IT/Linux, filosofia sekä sensuroimaton eroottinen kerronta).

Kvantisointi on suoritettu llm-compressor -työkalulla suoraan BF16-lähdepainoista.

---

Keskeiset ominaisuudet & Parannukset

1. Suomen kielen ja sanaston kalibrointi:

   • Korjaa puhtaan englanninkielisen kvantisoinnin aiheuttaman laadun heikkenemisen suomen kielessä.
   • Luontevat sijapäätteet, oikea morfologia ja laaja suomalainen aistillinen sanasto ilman kömpelöitä anglismeja.
   • Täysin kaksikielinen: testattu ja erinomaiseksi todettu niin suomeksi kuin puhtaaksi englanniksi.

2. Natiivi MTP (Multi-Token Prediction) -spekulaatiotuki:

   • Mallin MTP-kerrokset on säilytetty BF16-tarkkuudessa (model-nonquant.safetensors).
   • vLLM:ssä --speculative-config '{"method":"mtp","num_speculative_tokens":3}' tuottaa yli 145 tokenia sekunnissa (TP=2) ja pudottaa ensimmäisen tokenin viiveen (TTFT) ~0.27 sekuntiin.

3. Mukautettu suomenkielinen Chat Template ja päättelytasot ({REASON:}):

   • Oletuksena nopea suora vastaus: Malli ei jää turhiin ajattelusilmukoihin vaan vastaa välittömästi.
   • Mahdollisuus aktivoida syventävä päättely lisäämällä kehotteen alkuun {REASON:taso}:
     • {REASON:low}: Lyhyt ja tiivis pohdinta.
     • {REASON:medium}: Tasapainoinen analyysi ja jäsennelty vastaus.
     • {REASON:xhigh}: Erittäin syvällinen päättely ja oletusten validointi.
     • {REASON:spoon}: Syvätutkimus (7-vaiheinen moniasiantuntijaprotokolla: tehtävän kehystys, virtuaalipaneeli, ehdokkaat, katselmointi ja lopputulos).
     • {REASON:einstein}: Luova aivoriihi (10 Sternbergin näkökulmaa, radikaalien ideoiden jalostus ja IdeaArray).
   • Täysin sensuroimaton: Ei vastuuvapauslausekkeita, ei saarnoja, ei metakommentteja tarinoiden perässä.

---

Benchmarkit & Suorituskyky

Testattu järjestelmässä: 2x RTX-5090 GPU (Tensor Parallelism = 2), FP8 KV-cache, vLLM 0.29.0+:

---

Käyttö vLLM:n kanssa

Täysi tuotantoresepti vLLM:lle:

vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.92 \
    --max-model-len 262144 \
    --kv-cache-dtype fp8 \
    --enable-chunked-prefill \
    --limit-mm-per-prompt '{"image":99}' \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 16 \
    --reasoning-parser qwen3 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --override-generation-config '{"temperature":0.6,"top_p":0.95}' \
    --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

---

Päättelyesimerkki (Python / OpenAI API)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8003/v1", api_key="local")

# 1. Nopea suora vastaus
response = client.chat.completions.create(
    model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ",
    messages=[{"role": "user", "content": "Mikä on Suomen pääkaupunki?"}]
)
print(response.choices[0].message.content)

# 2. Syvätutkimusmoodi (Spoon)
response_research = client.chat.completions.create(
    model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ",
    messages=[{"role": "user", "content": "{REASON:spoon} Selitä kvanttitietokoneiden kolme suurinta teknistä haastetta."}]
)
print(response_research.choices[0].message.content)

---

Kvantisointitiedot

• Metodi: AWQ (W4A16, compressed-tensors)
• Painomuoto: Int4 ryhmäkoolla 128
• Poissuljetut (BF16-tarkkuudessa säilytetyt): lm_head, GDN linear attention in_proj, MTP (mtp.*)
• Kalibrointiaineisto: 256 kuratoitua monikierrosnäytettä suomeksi

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)