Apodex-1.1-mini-Finnish-GGUF
GGUF-kvantisoinnit Apodex-1.1-mini -monialamallista (36B MoE, 3B aktiivista parametria per token), varustettuna suoraan mallin metatietoihin integroidulla suomalaisella chat-templatella ja visioprojektorilla (mmproj).
Alkuperäinen malli: apodex/Apodex-1.1-mini
Mitä Kataguru muutti?
| Kenttä | Kuvaus |
|---|---|
| Base model | apodex/Apodex-1.1-mini |
| Katagurun muutos | Suomalainen chat-template (Jinja2) + GGUF-kvantisointi (llama.cpp build b11064) |
| Mitä EI muutettu | Mallin arkkitehtuuri, esikoulutetut painot tai sanasto |
| Ensisijainen käyttö | Paikallinen suomenkielinen päättely ja monialakäyttö vähäisellä muistinkäytöllä |
| Suositeltu versio | Q4_K_M (20.2 GiB) tai IQ4_XS (18.0 GiB) |
| Testattu laitteisto | RTX 5090 32GB / llama-bench b11064 |
Arkkitehtuuri ja Ominaisuudet
- Sparse MoE (3B aktiivista / 36B kokonaiskoko): 8 aktiivista asiantuntijaa 256:sta per token. Mahdollistaa pienen 3B-mallin laskennallisen läpimenon suuremman mallin tietomäärällä.
- Hybridi-Attention: 30 Linear Attention (GDN) -kerrosta ja 10 Full Attention -kerrosta.
- Konteksti-ikkuna: 262 144 tokenia (teoreettinen arkkitehtuurimaksimi).
- Natiivi visio & OCR: Toimitetaan erillisen visioprojektorin (
mmproj-Apodex-1.1-mini-Finnish-BF16.gguf) kanssa kuvien ja asiakirjojen lukemiseen suomeksi. - Päättelysyvyys (
<think>): Malli tukee sisäistä päättelyketjua ja ohjattavia päättelytasoja ({REASON:spoon},{REASON:einstein},{REASON:none}).
Suorituskykymittaukset (llama-bench)
Mittaustulokset ajettu suoraan NVIDIA GeForce RTX 5090 32GB -kortilla (CUDA Backend, Flash Attention on):
| Malli / Kvantti | Tiedostokoko | VRAM-vaatimus | Prompt Eval (pp512) |
Generointinopeus (tg128) |
Laitteistosuositus |
|---|---|---|---|---|---|
Apodex-1.1-mini-Finnish-Q3_K_M.gguf |
15.98 GiB | ~16.5 GB | 6 836.6 tok/s | 253.8 tok/s | 16–24 GB VRAM (RTX 4080, 5080, Mac 16GB+) |
Apodex-1.1-mini-Finnish-IQ4_XS.gguf |
18.05 GiB | ~18.6 GB | 6 628.3 tok/s | 263.5 tok/s | 20–24 GB VRAM (RTX 3090, 4090, 5090) |
Apodex-1.1-mini-Finnish-Q4_K_M.gguf |
20.21 GiB | ~21.0 GB | 6 586.3 tok/s | 262.6 tok/s | 24 GB+ VRAM (RTX 3090, 4090, 5090) |
Apodex-1.1-mini-Finnish-Q5_K_M.gguf |
24.10 GiB | ~25.0 GB | ~6 400 tok/s | ~255 tok/s | 32 GB+ VRAM / Jaettu muisti |
Apodex-1.1-mini-Finnish-Q6_K.gguf |
28.20 GiB | ~29.5 GB | ~6 200 tok/s | ~250 tok/s | 32 GB+ VRAM |
mmproj-Apodex-1.1-mini-Finnish-BF16.gguf |
861 MiB | +0.9 GB | N/A | N/A | Visioprojektori OCR- ja kuva-ajoon |
Havainnot ja Tunnetut Rajoitukset
- Suomen kielen laatu: Integroidun chat-templaten ansiosta malli käsittelee suomalaiset sijamuodot ja ammattikielen huomattavasti alkuperäistä peruskehotetta paremmin.
- MoE-arkkitehtuurin rajoitukset: Koska kerrallaan aktivoituu vain 3B parametria, monivaiheisissa loogisissa pulmassa tai syvällisessä koodauksessa mallin päättelyvarmuus jää alle tiheiden 27B-mallien (kuten Titan).
- Kontekstimuisti: Vaikka malli tukee 262k tokenia, yli 32k kontekstit kasvattavat KV-cachen muistinvarausta merkittävästi.
Käyttöohjeet
LM Studio
- Lataa
.gguf-tiedosto (esim.Apodex-1.1-mini-Finnish-Q4_K_M.gguf) ja visioprojektorimmproj-Apodex-1.1-mini-Finnish-BF16.gguf. - Sijoita kansioon:
~/.lmstudio/models/kataguru/Apodex-1.1-mini-Finnish-GGUF/ - Malli tunnistaa suomalaisen chat-templaten ja visiotuen automaattisesti. Suositeltu lämpötila:
0.6.
llama-cli
llama-cli \
-m Apodex-1.1-mini-Finnish-Q4_K_M.gguf \
--mmproj mmproj-Apodex-1.1-mini-Finnish-BF16.gguf \
-ngl 99 \
-fa on \
-c 8192 \
-p "Miten kvanttitietokone eroaa klassisesta tietokoneesta?"
Lisenssi
Pohjamalli: apodex/Apodex-1.1-mini (Apache 2.0).
Chat-template ja GGUF-julkaisu: Kataguru.