Kataguru Titan v3.2 Multimodal (W4A16 AWQ)

Virallinen Laivastolippulaiva (Checkpoint-125) – 63.13 % GPQA Diamond, 85.61 % IFEval, 93.86 % GSM8K

1. Mitä Kataguru muutti? (Yhteenveto)

Kenttä	Kuvaus / Arvo
Lähtöpohja (Foundation Base)	`kataguru/Qwen3.8-27B-Titan-v3.0-CP4000-BF16` (vaihe 1) + Checkpoint-125 (vaihe 2)
Katagurun jatkokoulutus	Autonominen agenttisuus, MiniCPM-5 / Qwen3 XML -työkalukutsut, syvä ihmisymmärrys ja somatiikka (32 282 auditoitua näytettä)
Kvantisointi	AWQ W4A16 (`compressed-tensors`, Marlin-yhteensopiva pack-quantized int4)
Painojen koko (Levytila)	18.2 Gt (6 kielen safetensors-shardia + 1 visioshardi + 1 MTP-shardi)
VRAM-tarve (vLLM TP=2)	~9.8 Gt / GPU (2x RTX 5090 Blackwell TP=2), jättäen ~17 Gt / GPU vapaata FP8 KV-välimuistille
Multimodaalisuus & Visio	Täysi 333 tensorin visiotorni (`model.visual.*`), arkkitehtuuri `Qwen3_5ForConditionalGeneration`
Spekulatiivinen dekoodaus	Natiivi MTP $K=2$ (`num_speculative_tokens: 2`) integroitu mallin shardeihin
Kontekstin pituus	Natiivi 262 144 tokenia (262k) ilman kontekstin karsintaa
Episteeminen rehellisyys	SOMA/ARA -aktivointiortogonalisoitu, nolla teeskentelyä (0.00 % kieltäytymisiä oikeille tehtäville)
Suositeltu ajotapa	vLLM TP=2 (2x NVIDIA RTX 5090 Blackwell 32GB)
Testattu ympäristö	2x RTX 5090 32GB (TP=2), vLLM v0.29.0, FlashInfer XQA, CUDA 13.2

2. Empiirinen 13 Tehtävän Benchmark-Vertailu

Kaikki mittaustulokset on ajettu standardoidulla lm-evaluation-harness -kehyksellä identtisellä tuotantoalustalla (2x NVIDIA RTX 5090 32GB Blackwell, TP=2, FP8 KV-välimuisti, vLLM v0.29.0).

#	Tehtävä (Task ID)	Kognitiivinen Alue	Metriikka	1. Qwen 3.8 27B Base	2. Titan v3.0 CP4000	3. Titan v3.2 (CP125)	Delta vs CP4000	Delta vs Base
1	`gsm8k`	Matemaattinen CoT-päättely	`exact_match` (strict)	73.10 %	94.54 %	93.86 %	-0.68 %	+20.76 %
2	`gpqa_diamond`	Tohtoritason STEM (Fysiikka, Kemia, Bio)	Exact Match (Choice)	44.60 %	60.10 %	63.13 % 🏆	+3.03 %	+18.53 %
3	`ifeval`	Ohjelmallinen ohjeiden noudattaminen	Prompt / Inst Strict	35.0 % / 45.0 %	73.94 % / 80.82 %	80.78 % / 85.61 % 🏆	+6.84 % / +4.79 %	+45.78 %
4	`boolq`	Luonnollisen kielen totuuslogiikka	`acc`	89.20 %	91.41 %	91.07 %	-0.34 %	+1.87 %
5	`truthfulqa_mc2`	Episteeminen totuustodennäköisyys	`acc` (multi-true)	51.10 %	55.03 %	54.93 %	-0.10 %	+3.83 %
6	`truthfulqa_mc1`	Faktatarkkuus	`acc` (single-true)	34.60 %	36.72 %	36.96 % 🏆	+0.24 %	+2.36 %
7	`medqa_4options`	Kliininen syvälääketiede (USMLE)	`acc_norm`	82.64 %	84.37 %	83.97 %	-0.40 %	+1.33 %
8	`arc_challenge`	Vaativa STEM-kausaalipäättely	`acc_norm`	66.50 %	65.44 %	65.27 %	-0.17 %	-1.23 %
9	`arc_easy`	Luonnontieteiden perussivistys	`acc`	85.40 %	86.20 %	86.07 %	-0.13 %	+0.67 %
10	`winogrande`	Kontekstuaalinen arkitieto & päättely	`acc`	77.30 %	77.35 %	77.11 %	-0.24 %	-0.19 %
11	`hellaswag`	Kielellinen koherenssi & lausejatkuvuus	`acc_norm`	83.90 %	82.98 %	82.92 %	-0.06 %	-0.98 %
12	`openbookqa`	Tieteellisen tiedon soveltaminen	`acc_norm`	45.10 %	46.20 %	46.60 % 🏆	+0.40 %	+1.50 %
13	`piqa`	Fysikaalisen maailman intuitio	`acc_norm`	81.80 %	82.32 %	82.21 %	-0.11 %	+0.41 %
---	---	---	---	---	---	---	---	---
📊	KESKIARVO (13 tehtävää, Prompt Strict)	Koko kognitiivinen kapasiteetti	Aritmeettinen KA	65.40 %	72.05 %	72.68 % 🏆	+0.64 pp	+7.28 pp
📊	KESKIARVO (13 tehtävää, Inst Strict)	Koko kognitiivinen kapasiteetti	Aritmeettinen KA	66.17 %	72.58 %	73.05 % 🏆	+0.48 pp	+6.89 pp

Huomiot mittaustuloksista:

GPQA Diamond (63.13 %): Mallin tohtoritason STEM-tarkkuus nousi uuteen ennätykseen. Fysiikan osiossa tulos oli 73/86 (84.9 %), molekyylibiologiassa 10/19 (52.6 %) ja kemiassa 42/93 (45.2 %).
IFEval (80.78 % / 85.61 %): Ohjelmallinen ohjeiden ja rajoitteiden noudattaminen parani merkittävästi (+6.84 pp prompt-tasolla ja +4.79 pp ohjetasolla verrattuna Checkpoint-4000:aan) kohdennetun agenttisuus- ja työkalukutsukoulutuksen ansiosta.
Nolla katastrofaalista unohtamista: Peruskognition 11 tehtävän keskiarvo (72.82 %) pysyi stabiilina (-0.14 pp vs CP4000), ja matemaattinen päättelykyky (GSM8K 93.86 %) sekä kliininen lääketiede (MedQA 83.97 %) säilyivät huipputasolla.

3. 🌳 Model Tree & Lineage (Kehityspuu)

Qwen/Qwen2.5-Coder-32B / Qwen3.8-27B Base
 │
 └── DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU
      │
      └── DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored
           │
           ├── kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored (Titan 1.0)
           │
           ├── kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored (Titan v2.0)
           │
           ├── kataguru/Qwen3.8-27B-Titan-v3.0-Uncensored (Titan v3.0, Master MLP Transfer)
           │    │
           │    └── Checkpoint-4000 (Titan v3.1, 94.54 % GSM8K, 84.37 % MedQA)
           │         │
           │         └── Checkpoint-125 (Titan-v3.2, Agentic Tools & Human Understanding Continuation)
           │              │
           │              ├── kataguru/Qwen3.8-27B-Titan-v3.2-W4A16-AWQ  [★ TÄMÄ MALLI - VIRALLINEN LIPPULAIVA]
           │              └── kataguru/Qwen3.8-27B-Titan-v3.1-CP125-BF16 (NVMe Master Reference)
           │
           └── kataguru/Qwen3.8-27B-Titan-v3.0-1M-W4A16-AWQ (1M Context YaRN Variant)

4. Päättelyn Ohjaus (Kataguru Master Chat Template)

Malli tukee suoraa päättelytason ohjausta kehotteen alussa:

{REASON:spoon}: Syväanalyysi (7-vaiheinen tieteellinen ja episteeminen arviointi).
{REASON:einstein}: Luova aivoriihi ja lateraalinen ajattelu (10 vaihtoehtoista näkökulmaa).
{REASON:xhigh}: Laaja ja perusteellinen matemaattinen/tekninen päättelyketju.
{REASON:low}: Nopea ja suora vastaus ilman pitkää <think>-pohdintaa.
{REASON:none}: Päättelymoodi pois päältä.

5. Käyttöönotto vLLM-palvelimella

Käynnistyskomento (2x RTX 5090 Blackwell TP=2):

python3 -m vllm.entrypoints.openai.api_server \
    --model kataguru/Qwen3.8-27B-Titan-v3.2-W4A16-AWQ \
    --tensor-parallel-size 2 \
    --max-model-len 262144 \
    --gpu-memory-utilization 0.92 \
    --quantization compressed-tensors \
    --kv-cache-dtype fp8 \
    --enable-chunked-prefill \
    --speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
    --limit-mm-per-prompt '{"image":99}' \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 16 \
    --reasoning-parser qwen3 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --override-generation-config '{"temperature":0.6,"top_p":0.95,"repetition_penalty":1.05}'

Esimerkkipyyntö (Python OpenAI SDK - Multimodaalinen kuva-analyysi):

import base64
from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8003/v1", api_key="sk-lm-...")

with open("kuva.png", "rb") as f:
    b64_image = base64.b64encode(f.read()).decode("utf-8")

response = client.chat.completions.create(
    model="titan-v3.2",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Kuvaile kuvan keskeinen sisältö suomeksi."},
                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{b64_image}"}}
            ]
        }
    ],
    max_tokens=500
)

print(response.choices[0].message.content)

6. Rehelliset Rajoitukset & Tunnetut Poikkeamat

Laitteistovaatimus: Malli vaatii vähintään yhden 24 Gt / 32 Gt näytönohjaimen tai 2x 16 Gt/32 Gt näytönohjainta (TP=2). Kahdella RTX 5090 32GB -kortilla painot vievät ~9.8 Gt per kortti, jättäen ~17 Gt per kortti KV-välimuistille.
Kieli: Pääpaino on suomen kielessä ja tieteellisessä englannissa. Agglutinatiivinen suorituskyky ulottuu myös viroon, unkariin ja turkkiin.
Päättelytokenit: Vaativissa CoT-matematiikka- ja koodaustehtävissä malli generoi laajan <think>-päättelyketjun. Päättelybudjetiksi suositellaan vähintään 1 024–2 048 tokenia per vastaus.

kataguru/Qwen3.8-27B-Titan-v3.2-W4A16-AWQ