TranslateGemma-27B-Finnish-W4A16-AWQ 🇫🇮

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje   |   🇬🇧 English Documentation & Quickstart

---

Tämä on Google TranslateGemma 27B -mallin suomen kielelle erityisesti kalibroitu ja optimoitu AWQ W4A16 (compressed-tensors) -versio.

Alkuperäinen malli on Googlen valtiontason monikielinen käännösmalli (Gemma 3 -arkkitehtuuri), joka yhdistää huippuluokan käännöskyvyn ja SigLIP-visiotornin monimodaalisen tekstin tunnistamiseen (kuva-käännös / OCR + Translation).

Tämä optimoitu versio sisältää Universaalin suomenkielisen chat-templaten sekä suomalaiseen rinnakkaiskorpukseen pohjautuvan AWQ-kvantisoinnin, joka takaa maksimaalisen käännöstarkkuuden ilman suomen kielen taivutusmuotojen tai idiomien heikkenemistä.

---

🪢 Rautalankaväännös kaikille: Miksi tämä malli tehtiin ja miksi se toimii paremmin?

1. "Eikö tavallinen tekoäly jo osaa kääntää?" – Ei kunnolla.

Tavalliset tekoälyt (kuten ChatGPT, perus-Llama tai Qwen) ovat kuin monitoimityökaluja: ne osaavat kertoa vitsejä, koodata ja jutella niitä näitä. Mutta kun niitä pyytää kääntämään suomea, ne tekevät tyypilliset virheet:

• Kääntävät sanasta sanaan (tönkköä "käännössuomea"): Ne säilyttävät englannin lauserakenteen, toistelevat kankeita sanoja kuten "hän teki sen" ja käyttävät vääriä sijapäätteitä.
• Alustavat ja jaarittelevat: Ne vastaavat "Totta kai, tässä on käännöksesi:" ja lisäävät perään omia huomautuksiaan, mikä sotkee automaattiset järjestelmät ja asiakirjat.
• TranslateGemma 27B on kuin huippukoulutettu simultaanitulkki: se ei jaarittele, se ymmärtää suomalaiset sanonnat ja idiomit ja tuottaa heti suoraan luonnollista, elävää ja kieliopillisesti täydellistä suomen kieltä.

2. Miksi suomalainen "kalibrointi" tarvittiin? (Suomi ei ole englantia!)

Kun jättimäinen tekoälymalli puristetaan pienempään kokoon (kvantisointi), tietokone karsii painoista pois "vähemmän tärkeää" tietoa.

• Jos malli puristetaan tavalliseen tapaan englanninkielisen tekstin mukaan, tietokone luulee, että suomen kielen monimutkaiset taivutuspäätteet ja pitkät yhdyssanat ovat "turhaa kohinaa" ja leikkaa ne pois. Lopputuloksena malli alkaa tuottaa väärin taivutettuja sanoja.
• Me syötimme kvantisoinnin aikana mallille suuren määrän suomalaisia rinnakkaistekstejä (lakia, tekniikkaa, lääketiedettä, sanontoja). Tällöin tietokone oppi tarkalleen, mitä painoja suomen kielen virheetön taivutus vaatii, ja suojeli ne 100-prosenttisesti!

3. Täysi tietoturva: Ei dataa ulkomaisille pilvipalveluille

• Koko malli pyörii omalla palvelimellasi tai tietokoneellasi ilman nettiyhteyttä. Voit kääntää luottamuksellisia sopimuksia, liikesalaisuuksia, potilastietoja tai henkilökohtaisia viestejä ilman pelkoa siitä, että tietosi päätyvät Googlelle, OpenAI:lle tai muille pilvijäteille.

---

🚀 Käyttöönotto vLLM:ssä

Käynnistä malli vLLM-palvelimella:

vllm serve kataguru/TranslateGemma-27B-Finnish-W4A16-AWQ \
  --tensor-parallel-size 2 \
  --kv-cache-dtype fp8 \
  --enable-chunked-prefill \
  --max-model-len 32768 \
  --override-generation-config '{"temperature": 0.2, "top_p": 0.95}'

Python OpenAI API -esimerkki:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="token-abc")

# Luonnollinen suomenkielinen kutsu
response = client.chat.completions.create(
    model="kataguru/TranslateGemma-27B-Finnish-W4A16-AWQ",
    messages=[
        {"role": "system", "content": "Käytä selkeää ja luontevaa suomen kirjakieltä."},
        {"role": "user", "content": "Käännä suomeksi: Speculative decoding drastically reduces generation latency without altering model output distribution."}
    ],
    temperature=0.2,
)

print(response.choices[0].message.content)

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/TranslateGemma-27B-Finnish-W4A16-AWQ --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/TranslateGemma-27B-Finnish-W4A16-AWQ",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)