Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje   |   🇬🇧 English Documentation & Quickstart

---

Mitä Kataguru muutti?

---

Tämä repositorio sisältää GGUF-kvantisoinnit mallista DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored, joka on rikastettu ja optimoitu huippuluokan suomen kielelle ja suomalaiselle ilmaisulle.

Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-W4A16-AWQ.

---

Saatavilla olevat tiedostot & Kvantisointivaihtoehdot

---

[!NOTE] VRAM & KV-Cache -huomautus 16 GB -korteille (esim. RTX 4080 / 4070 Ti Super): Qwen 27B:n KV-cache vie FP16-tarkkuudella n. 256 KB per token. 16 GB VRAM -kortilla Q3_K_M (12.9 GB) jättää n. 3 GB vapaata muistia, jolloin suositellaan käyttämään FP8/Q8 KV-cachea (LM Studiossa Context Quantization tai llama.cpp:ssä -ctk q8_0 -ctv q8_0), jolla saavutetaan sujuvasti 32k–64k konteksti ilman muistin loppumista. Pidemmille konteksteille (128k+) suositellaan 24 GB+ VRAMia tai osittaista CPU-offloadia.

Tärkeimmät ominaisuudet

1. Luonnollinen ja vivahteikas suomen kieli:

   • Suomenkielinen morfologia, sanasto, sijamuodot ja tyylilliset vivahteet toimivat saumattomasti ilman anglismien käännöskankeutta.
   • Erinomainen niin asiaproosassa, IT/koodausvastauksissa, filosofiassa kuin kaunokirjallisessa ja luovassa tarinankerronnassa.

2. Mukautettu Chat Template & Päättelytasot ({REASON:}):

   • Oletuksena nopea ja suora vastaus: Malli vastaa välittömästi ilman pitkää ja raskasta <think>-pohdintaa.
   • Ohjattava päättely: Voit aktivoida syventävän päättelyn lisäämällä viestin alkuun haluamasi tason:
     • {REASON:low}: Nopea ja lyhyt analyysi.
     • {REASON:medium}: Tasapainoinen ja jäsennelty päättelyketju.
     • {REASON:xhigh}: Erittäin syvällinen ja kriittinen analyysi.
     • {REASON:spoon}: Syvätutkimus (7-vaiheinen asiantuntijapaneeli, hypoteesit, synteesi).
     • {REASON:einstein}: Luova aivoriihi (10 Sternbergin näkökulmaa, radikaalien ratkaisujen jalostus).

3. Sensuroimaton vapaus (Uncensored / Heretic):

   • Ei moralisointia, ei turhia vastuuvapauslausekkeita tai kieltäytymisiä monimutkaisissa tai fiktioaiheissa.

---

Käyttöohjeet

1. LM Studio

1. Avaa LM Studio.
2. Etsi hakukentästä: kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF.
3. Valitse itsellesi sopiva kvantti (esim. Q4_K_M tai Q5_K_M) ja lataa se.
4. Mallin sisäänrakennettu Jinja chat template tunnistaa roolit ja suomen kielen automaattisesti.

2. Ollama

Luo Modelfile:

FROM ./Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf

PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"

Kokoa ja käynnistä:

ollama create qwen-fable-fi -f Modelfile
ollama run qwen-fable-fi

3. llama.cpp Server

./llama-server \
    -m Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-Q4_K_M.gguf \
    --port 8080 \
    -ngl 99 \
    -c 32768 \
    --temp 0.6 \
    --top-p 0.95

---

Tekniset tiedot

• Arkkitehtuuri: Qwen3.8 / Qwen2.5 Hybrid + Attention + Mamba/GDN + MTP
• Parametrit: 27B
• Lähdepainot: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored (BF16)
• Kvantisointityökalu: llama.cpp (b11064)

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-27B-TWIN-TURBO-Fable-Finnish-GGUF",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)