Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje | 🇬🇧 English Documentation & Quickstart

Mitä Kataguru muutti?

Kenttä	Kuvaus
Base model	`petruhonk/Qwen3.8-9B-Distill-uncensored-heretic`
Katagurun muutos	Suomalainen kalibrointi / chat-template / kvantisointi
Mitä EI muutettu	Mallin perusarkkitehtuuri ja esikoulutetut painot
Ensisijainen käyttö	Paikallinen suomenkielinen päättely ja inferenssi
Testattu laitteisto	NVIDIA RTX 5090 32GB / vLLM & llama.cpp

Tämä repositorio sisältää GGUF-kvantisoinnit monimodaalisesta mallista petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, optimoituna ja testattuna suomen kielelle sekä paikalliseen päättelyyn (LM Studio, llama.cpp, Ollama).

Malli on saatavilla myös vLLM-optimoituna AWQ-versiona: kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-W4A16-AWQ.

Saatavilla olevat tiedostot & Kvantisointivaihtoehdot

Tiedosto	Koko	BPW	Suositeltu laitteisto / VRAM	Kuvaus & Käyttökohde
Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q5_K_M.gguf	~6.2 GB	~5.5	>= 10 GB VRAM	Korkein laatu ja tarkkuus, suositus vaativaan päättelyyn
Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q4_K_M.gguf	~5.4 GB	~4.5	>= 8 GB VRAM	Paras yleistasapaino laadun ja nopeuden välillä
Qwen3.8-9B-Distill-uncensored-heretic-Finnish-IQ4_XS.gguf	~5.0 GB	~4.25	>= 8 GB VRAM	Optimoitu i-matrix-kvantti minimaalisella laadunmenetyksellä
Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q3_K_M.gguf	~4.5 GB	~3.5	>= 6 GB VRAM	Erittäin kevyt vaihtoehto vähämuistisille GPU-korteille ja läppäreille

Keskeiset ominaisuudet

Rikastettu suomen kieli:
- Hyvä suomen morfologinen laatu testeissä ja luonteva vastaustapa ilman käännöskankeutta.
- Oletuksena nopea suora vastaus, päättelytasot ohjattavissa syötteellä ({REASON:spoon}, {REASON:einstein}, {REASON:low}, {REASON:medium}).
Sensuroimaton dialogi ja luova kerronta:
- Ei turhia kieltäytymisiä tai moraalisaarnoja.
Valmis LM Studio -tuki:
- Yhteensopiva suoraan LM Studion ja llama.cpp:n b3500+ buildien kanssa.

Käyttöesimerkki llama.cpp:llä

./llama-cli \
    -m Qwen3.8-9B-Distill-uncensored-heretic-Finnish-Q4_K_M.gguf \
    -p "<|im_start|>user\nKerro lyhyesti fotosynteesin vaiheet suomeksi.<|im_end|>\n<|im_start|>assistant\n" \
    -ngl 99 -c 8192 --temp 0.6 --top-p 0.95

LM Studio -asennus

Lataa haluamasi .gguf-tiedosto tästä repositoriosta.
Siirrä tiedosto LM Studion mallihakemistoon: ~/.lmstudio/models/kataguru/Qwen3.8-9B-Distill-uncensored-heretic-GGUF/
Valitse malli käyttöliittymästä ja aseta GPU Offload: Max.

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Qwen3.8-9B-Distill-uncensored-heretic-Finnish-GGUF",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)