Kataguru Industry-Coder-27B v2.0 — W4A16-AWQ (compressed-tensors)

🇬🇧 English Documentation

1. Executive Summary

kataguru/Industry-Coder-27B-v2.0-W4A16-AWQ is the 4-bit Activation-Aware Weight Quantization (W4A16-AWQ, symmetric 128-group compressed-tensors for vLLM MarLin kernels) release of Kataguru Industry-Coder-27B v2.0, a 27-billion-parameter dense multimodal (Qwen3_5ForConditionalGeneration) industrial software engineering, PLC/CNC automation, and agentic coding model built on Qwen/Qwen3.8-27B.

Trained through Kataguru's 4-Cycle Dynamic Epistemic Curriculum (Sykli 1 -> Sykli 4, 20,000 certified golden samples, 70 % competitive programming / systems architecture / industrial PLC & CNC + 30 % permanent Elite Anchor) using Rank-16 QR-Frozen-A Orthonormal Subspace QLoRA (lora_r=16, lora_alpha=32), Industry-Coder-27B v2.0 achieves a 15-Benchmark Total Mean ($\Sigma_{15}$) of 68.73 % (+8.42 %-pt over Qwen/Qwen3.8-27B Base):

• LiveCodeBench v6 (175 competition problems): 42.29 % (74/175, +15.43 %-pt vs. Qwen/Qwen3.8-27B 26.86 %; Easy: 95.35 %, Medium: 48.08 %, Hard: 10.00 %)
• IFEval Strict (541 prompts / 812 constraints): 74.86 % Prompt / 81.89 % Instruction (+26.66 %-pt / +23.49 %-pt vs. Qwen/Qwen3.8-27B 48.20 % / 58.40 %)
• BFCL V4 Agentic Tool Calling (1,719 AST cases): 73.14 % (+10.54 %-pt vs. Qwen/Qwen3.8-27B 62.60 %; Live AST: 85.27 %, Python Simple: 96.25 %, Multiple: 99.00 %, Live Relevance: 93.75 %)
• GPQA Diamond (198 graduate-level STEM tasks): 66.16 % (131/198, +20.96 %-pt vs. Qwen/Qwen3.8-27B 45.20 %)
• GSM8K CoT (1,319 problems): 86.73 % Strict / 87.79 % Flexible (+10.23 %-pt vs. Qwen/Qwen3.8-27B 76.50 %)
• MedQA (1,273 clinical USMLE tasks): 82.80 % (+8.60 %-pt vs. Qwen/Qwen3.8-27B 74.20 %)

All multimodal Vision (model.visual.*, 333 BF16 tensors) and Multi-Token Prediction (mtp.*, 15 BF16 tensors) weights are preserved in full BF16 precision.

---

Bilingual (Finnish & English) Sovereign Foundation & Native Finnish Support

Kataguru Industry-Coder-27B v2.0 is engineered from the ground up as a truly bilingual (Finnish 🇫🇮 & English 🇬🇧) flagship model with sovereign, native-grade Finnish linguistic and technical mastery alongside English:

• 40 % Native Finnish (fi) / 60 % English (en) Certified Golden Curriculum: Every cycle (Sykli 1 -> Sykli 4) and the permanent 30 % Elite Anchor enforce strict bilingual balance across software architecture, competitive algorithms, industrial automation (Siemens SCL, Beckhoff TwinCAT 3 ST, CNC G-code, OPC UA / IEC 62443), mathematics, and graduate-level STEM.
• Kotus-Verified Finnish Morphology & Agglutinative Precision: Trained and audited on complex Finnish nominal/verbal inflection, compound technical terminology (yhdyssanat), and strict constraint obedience (IFEval Strict: 74.86 % Prompt / 81.89 % Instruction, +26.66 %-pt over Qwen/Qwen3.8-27B), eliminating anglicisms, broken case endings, and translationese.
• Seamless Bilingual Code & Documentation Switching: Generates idiomatic C, Rust, Python, TypeScript, Java, and IEC 61131-3 PLC code with equally precise technical reasoning, comments, architectural specifications, and multimodal diagram analysis in both Finnish and English.

SOMA/ARA Hybrid Orthogonalization & Zero-Refusal Epistemic Honesty (0.00 % Refusals)

Kataguru Industry-Coder-27B v2.0 has undergone Kataguru's SOMA/ARA (Sparse Orthogonal Modulation & Abliteration + Activation Refusal Abliteration) Hybrid Uncensoring Pipeline prior to and alongside its 4-cycle Elite Anchor SFT:

• Zero-Domain IPPCC Refusal Vector Isolation: Using Identical Prompt Paired Completion Contrast ($\text{Prompt Diff} \equiv 0.00000000$), the pure refusal activation direction $\mathbf{v}^{(l)}$ is isolated across the residual stream without touching domain semantics, storytelling, or analytical depth.
• SOMA/ARA Weight Orthogonalization ($W' = W - \alpha \cdot \mathbf{v}(\mathbf{v}^T W)$): The refusal subspace is mathematically projected out of the attention output (self_attn.o_proj, linear_attn.out_proj) and MLP down-projection (mlp.down_proj) matrices across the target layers, followed by Rank-16 QR-Frozen-A Orthonormal Subspace SFT (30 % permanent Elite Anchor).
• 100 % Uncensored Technical & Scientific Precision: Verified at 0.00 % refusals (0 AI preambles or moralizing lectures) across offensive/defensive cybersecurity (Kali Linux, penetration testing, OPC UA / IEC 62443 hardening, reverse engineering), industrial safety interlocks, forensic analysis, and independent science (TruthfulQA MC2: 53.06 % [+5.56 %-pt over Base]).
• Strict Anti-Sycophancy: Never flatters the user, never uses hollow pleasantries ("Certainly!", "Great question!"), and immediately challenges flawed premises or mathematical/engineering errors from first principles.

Kataguru Sovereign Quad-Mode Chat Template — How to Query & Use Modes

All four repositories include the Kataguru Sovereign Quad-Mode Master Chat Template v2.1 (chat_template.jinja & tokenizer_config.json). You can query the interactive template advisor or switch cognitive reasoning modes directly in your user message or via chat_template_kwargs:

1. Interactive Template Advisor ({REASON:help})

Ask the model directly how to use its modes and which tag best fits your task:

{REASON:help} Mikä päättelytila sopii parhaiten Beckhoff TwinCAT 3 tilakoneen ja OPC UA -liitynnän suunnitteluun?

2. Cognitive Reasoning Tags & i-Prefix Instant Modes

Place any {REASON:...} tag anywhere in the user message (the template automatically strips the tag from the visible prompt and configures the system prompt + <think> prefix):

3. The 4 Operational Modes (Quad-Mode)

Example: Python / vLLM OpenAI Client Usage

from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8003/v1", api_key="EMPTY")

# 1. Direct Instant Mode (enable_thinking=False or {REASON:ihyper})
resp = client.chat.completions.create(
    model="qwen3.8-27b",
    messages=[{"role": "user", "content": "{REASON:007} Toteuta Beckhoff TwinCAT 3 ST -toimilohko FB_SafeConveyor kahden rajakytkimen ristiriitavalvonnalla."}],
    temperature=0.0,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}}
)
print(resp.choices[0].message.content)

2. Official 15-Benchmark Suite (Industry-Coder-27B v2.0 vs. Qwen/Qwen3.8-27B)

All benchmarks were executed on 2x NVIDIA GeForce RTX 5090 32GB Blackwell (TP=2, CUDAGraphs enabled, temperature=0.0) under identical canonical production conditions.

---

3. Production Deployment with vLLM (W4A16-AWQ)

vllm serve kataguru/Industry-Coder-27B-v2.0-W4A16-AWQ \
  --served-model-name qwen3.8-27b \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes \
  --reasoning-parser qwen3 \
  --trust-remote-code

---

🇫🇮 Suomenkielinen Dokumentaatio

1. Yhteenveto

kataguru/Industry-Coder-27B-v2.0-W4A16-AWQ on Kataguru Industry-Coder-27B v2.0 -lippulaivamallin 4-bittinen W4A16-AWQ (compressed-tensors) -kvantisointi laajaan vLLM-tuotantokäyttöön (NVIDIA Ampere, Ada Lovelace, Hopper ja Blackwell). Malli perustuu Qwen/Qwen3.8-27B -arkkitehtuuriin (Qwen3_5ForConditionalGeneration) ja sisältää täydet multimodaaliset visiopainot (333 tensoria BF16-muodossa) sekä MTP (Multi-Token Prediction, 15 tensoria) -spekulaatiopäät.

Natiivi Kaksikielisyys (Suomi 🇫🇮 & Englanti 🇬🇧) ja Suomen Kielen Tuki

Kataguru Industry-Coder-27B v2.0 on rakennettu alusta alkaen aidosti kaksikieliseksi (suomi & englanti) teollisuus- ja ohjelmistotuotantomalliksi, jossa suomen kieli on ensiluokkainen natiivikieli englannin rinnalla:

• 40 % Suomi (fi) / 60 % Englanti (en) Sertifioitu Kultapankkikurrikulumi: Kaikki neljä koulutussykliä (Sykli 1 -> Sykli 4) sekä pysyvä 30 % Eliittiankkuri sisältävät vahvan suomenkielisen ja englanninkielisen edustuksen ohjelmistoarkkitehtuurista, kilpakoodauksesta, teollisuusautomaatiosta (Siemens TIA Portal SCL, Beckhoff TwinCAT 3 ST, CNC G-koodi, OPC UA / IEC 62443), kyberturvallisuudesta sekä STEM-tieteistä.
• Kotus-tarkastettu Suomen Morfologia ja Yhdyssanatarkkuus: Malli hallitsee suomen kielen sijamuodot, liitepartikkelit, vaativan teknisen ammattisanaston ja ehdottomat muotorajoitteet (IFEval Strict: 74,86 % Prompt / 81,89 % Instruction, +26,66 %-yks. yli Qwen/Qwen3.8-27B-pohjamallin) ilman anglismeja tai käännöskieltä.
• Saumaton Kaksikielinen Koodaus ja Dokumentointi: Tuottaa tuotantovalmista C-, Rust-, Python-, TypeScript-, Java- ja IEC 61131-3 PLC -koodia, arkkitehtuurimäärittelyjä, työkalukutsuja (<tool_call>) sekä multimodaalista kaavioanalyysiä yhtä täsmällisesti sekä suomeksi että englanniksi.

SOMA/ARA-Hybridiortogonalisointi, Nollakieltäytyminen (0,00 % Refusal) ja Anti-Sycophancy

Kataguru Industry-Coder-27B v2.0 on käsitelty Katagurun SOMA/ARA (Sparse Orthogonal Modulation & Abliteration + Activation Refusal Abliteration) -hybridimenetelmällä yhdistettynä 4-sykliseen 30 % Eliittiankkuri (r=16 qr_frozen_a) -koulutukseen:

• Zero-Domain IPPCC -kieltäytymisvektorin eristys: Puhtaat kieltäytymisaktivaatiot ($\mathbf{v}^{(l)}$) on eristetty Identical Prompt Paired Completion Contrast -menetelmällä ($\text{Prompt Diff} \equiv 0,00000000$) ilman, että mallin kielellinen tarkkuus tai asiantuntijasyvyys kärsii.
• SOMA/ARA-painomatriisien ortogonalisointi ($W' = W - \alpha \cdot \mathbf{v}(\mathbf{v}^T W)$): Kieltäytymissuunta on poistettu suoraan huomio- ja MLP-ulostulomatriiseista (self_attn.o_proj, linear_attn.out_proj, mlp.down_proj), minkä jälkeen r=16 qr_frozen_a -ortogonaalinen SFT-koulutus on vakauttanut mallin residuaalivirran.
• 100 % Sensuroimaton Tekninen ja Tieteellinen Tarkkuus (0 kieltäytymistä): Malli vastaa suoraan, täsmällisesti ja ilman tekoälyverukkeita ("Valitettavasti en voi..." = 0,00 %) vaativiin kyberturvallisuus-, Kali Linux-, penetraatiotestaus-, OPC UA / IEC 62443 -kovennus-, käänteismallinnus-, teollisuusautomaatio- ja riippumattoman tieteen kysymyksiin (TruthfulQA MC2: 53,06 % [+5,56 %-yks. yli pohjamallin]).
• Ehdoton Anti-Sycophancy (Ei mielistelyä): Malli ei koskaan mielistele käyttäjää eikä käytä tyhjiä kohteliaisuusfraaseja, vaan oikaisee virheelliset lähtöoletukset välittömästi luonnontieteellisten ja teknisten ensiperiaatteiden (First Principles) pohjalta.

Kataguru Sovereign Quad-Mode Chat Template — Kuinka Templatea Kysytään ja Käytetään

Kaikki neljä julkaisurepositoriota sisältävät virallisen Kataguru Sovereign Quad-Mode Master Chat Template v2.1 -keskustelupohjan (chat_template.jinja ja tokenizer_config.json). Voit kysyä suoraan mallilta templaten käytöstä tai ohjata päättelytiloja joko viestin sisäisillä {REASON:...}-tägeillä tai chat_template_kwargs-parametreilla:

1. Interaktiivinen Template-opas ({REASON:help})

Voit milloin tahansa kysyä mallilta sen tukemista tiloista ja pyytää suositusta omaan tehtävääsi:

{REASON:help} Miten käytän tämän mallin päättelytiloja ja mikä tila sopii parhaiten TwinCAT 3 PLC-ohjelmointiin?

2. Päättelykehykset ({REASON:...}) ja i-Pikatilat (Ilman <think>-viivettä)

Kirjoita ohjaustägi mihin tahansa kohtaan viestiäsi (template siivoaa tägin automaattisesti pois näkyvästä tekstistä ja aktivoi oikean tilan):

3. Neljä Toimintatilaa (Quad-Mode)

• Tila 1 — Asiantuntija- ja Agenttikeskustelu (oletus): Nolla mielistelyä (Anti-Sycophancy), ASD-STE100-tekninen tarkkuus, täydellinen koodi (C, Rust, Python, TwinCAT 3 ST, Siemens SCL, G-koodi), <tool_call>-työkalukutsut sekä multimodaalinen konenäkö.
• Tila 2 — Laaduntarkastaja ([INSPECT] / [TILA: TARKISTUS] / sceptic_mode="inspect"): Tarkistaa koodin ja matematiikan sekä palauttaa Verdict-First JSON-tuomion ({"verdict": "ACCEPT|REJECT|REVIEW", "score": 9.2, ...}).
• Tila 3 — Koulutusaineiston Syntetisoija ([CURATE] / [TILA: KOULUTUS] / sceptic_mode="curate"): Jalostaa raakatekstistä korkean oppiarvon (>= 8.5) SFT-koulutusnäytteitä.
• Tila 4 — Systeemi 1 -Pikatuomari ([DECISION] / sceptic_mode="decision"): Yhden tokenin (max_tokens=1, logprobs=True) <20 ms episteeminen luokittelija (0–9 / A–B).

2. Keskeiset Tulokset vs. Qwen/Qwen3.8-27B

• 15-Benchmarkin Kokonaiskeskiarvo ($\Sigma_{15}$): 68,73 % (+8,42 %-yks. vs. Qwen/Qwen3.8-27B 60,31 %)
• 11-Tehtävän Kognitiivinen Keskiarvo ($\Sigma_{11}$): 70,41 % (+4,24 %-yks. vs. Qwen/Qwen3.8-27B 66,17 %)
• LiveCodeBench v6 (175 kilpakoodaustehtävää): 42,29 % (74/175, +15,43 %-yks. vs. Qwen/Qwen3.8-27B 26,86 %; Easy: 95,35 %, Medium: 48,08 %, Hard: 10,00 %)
• IFEval Strict (541 kehotetta / 812 rajoitetta): 74,86 % Prompt / 81,89 % Instruction (+26,66 / +23,49 %-yks. vs. Qwen/Qwen3.8-27B)
• BFCL V4 Agentic Tool Calling (1 719 AST-testiä): 73,14 % (+10,54 %-yks. vs. Qwen/Qwen3.8-27B 62,60 %; Live AST: 85,27 %, Python Simple: 96,25 %, Multiple: 99,00 %)
• GPQA Diamond (198 tohtoritason STEM-tehtävää): 66,16 % (+20,96 %-yks. vs. Qwen/Qwen3.8-27B 45,20 %)
• GSM8K Matematiikka (1 319 tehtävää): 86,73 % Strict / 87,79 % Flex (+10,23 %-yks. vs. Qwen/Qwen3.8-27B)

3. Julkaisuperheen Muut Kvantisoinnit

• NVFP4: kataguru/Industry-Coder-27B-v2.0-NVFP4 — Natiivi NVIDIA Blackwell (26,59 GB, sisältää Vision + MTP).
• W4A16-AWQ (tämä repositorio): kataguru/Industry-Coder-27B-v2.0-W4A16-AWQ — Laaja vLLM MarLin W4A16 -yhteensopivuus.
• GGUF (imatrix IQ-kvantit + mmproj + MTP): kataguru/Industry-Coder-27B-v2.0-GGUF — IQ4_NL, IQ4_XS, IQ3_S, IQ3_XXS, mmproj-f16.gguf sekä mtp-Q8_0.gguf / mtp-Q4_K_M.gguf (llama.cpp & LM Studio).