Muszka Instruct 1.5B v1.0 — GGUF
[EN] English Version • [PL] Wersja polska • Model • Demo
English
GGUF files of Fibogacci/muszka-instruct-1.5b-v1.0, a small Polish assistant that answers simply, briefly and to the point, for llama.cpp, Ollama, LM Studio and other GGUF runtimes. The quants are optimized for Polish text.
| File | Size | Use |
|---|---|---|
muszka-instruct-1.5b-v1.0-Q4_K_M.gguf |
0.97 GB | Recommended: Raspberry Pi 5, phones, small RAM |
muszka-instruct-1.5b-v1.0-Q5_K_M.gguf |
1.14 GB | Better quality, still small |
muszka-instruct-1.5b-v1.0-Q6_K.gguf |
1.31 GB | Practically the same as the full model |
muszka-instruct-1.5b-v1.0-F16.gguf |
3.20 GB | Full precision, for your own quantization |
Quickstart
# llama.cpp
llama-cli -hf Fibogacci/muszka-instruct-1.5b-v1.0-GGUF:Q4_K_M -cnv -t 2 --temp 0.2 --repeat-penalty 1.05
llama-server -hf Fibogacci/muszka-instruct-1.5b-v1.0-GGUF:Q4_K_M --temp 0.2 --repeat-penalty 1.05
# Ollama
ollama run hf.co/Fibogacci/muszka-instruct-1.5b-v1.0-GGUF:Q4_K_M
Context length: 8,192 tokens. Chat format: ChatML (<|im_start|> / <|im_end|>), stored in
the GGUF metadata. Recommended: temperature 0.2–0.7, top-p 0.9, repetition penalty 1.05.
Raspberry Pi 5
Q4_K_M runs at about 12 tokens/s on a Raspberry Pi 5 / Pi 500 with llama.cpp and
-t 2. Use the K-quants from this repository: on the Pi 5, llama.cpp's Q4_0 and Q8_0 paths
produce garbage for this model family.
Links
- Model card, limitations and attribution: Fibogacci/muszka-instruct-1.5b-v1.0
- Demo: Fibogacci/muszka-instruct-demo
- Project page: muszkaowocowa.pl/en/muszka-instruct • Author LinkedIn
Base model: speakleash/Bielik-1.5B-v3.0-Instruct (SpeakLeash & ACK Cyfronet AGH, Apache 2.0). Muszka is an independent project, not an official SpeakLeash model.
License: Apache 2.0.
Wersja polska
Pliki GGUF modelu Muszka Instruct 1.5B v1.0, małego polskiego asystenta, który odpowiada prosto, krótko i na temat, do llama.cpp, Ollamy, LM Studio i innych programów obsługujących GGUF. Kwanty są zoptymalizowane pod polski tekst.
| Plik | Rozmiar | Zastosowanie |
|---|---|---|
muszka-instruct-1.5b-v1.0-Q4_K_M.gguf |
0,97 GB | Zalecany: Raspberry Pi 5, telefony, mało RAM |
muszka-instruct-1.5b-v1.0-Q5_K_M.gguf |
1,14 GB | Lepsza jakość, nadal mały |
muszka-instruct-1.5b-v1.0-Q6_K.gguf |
1,31 GB | Praktycznie jak pełny model |
muszka-instruct-1.5b-v1.0-F16.gguf |
3,20 GB | Pełna precyzja, do własnej kwantyzacji |
Szybki start
# llama.cpp
llama-cli -hf Fibogacci/muszka-instruct-1.5b-v1.0-GGUF:Q4_K_M -cnv -t 2 --temp 0.2 --repeat-penalty 1.05
llama-server -hf Fibogacci/muszka-instruct-1.5b-v1.0-GGUF:Q4_K_M --temp 0.2 --repeat-penalty 1.05
# Ollama
ollama run hf.co/Fibogacci/muszka-instruct-1.5b-v1.0-GGUF:Q4_K_M
Długość kontekstu: 8 192 tokeny. Format czatu: ChatML (<|im_start|> / <|im_end|>),
zapisany w metadanych GGUF. Zalecane: temperatura 0,2–0,7, top-p 0,9, kara za powtórzenia 1,05.
Raspberry Pi 5
Na Raspberry Pi 5 / Pi 500 Q4_K_M daje w llama.cpp około 12 tokenów/s z -t 2. Używaj
kwantów K z tego repozytorium: na Pi 5 ścieżki Q4_0 i Q8_0 w llama.cpp dają dla tej rodziny
modeli nieczytelny tekst.
Linki
- Karta modelu, ograniczenia i atrybucja: Fibogacci/muszka-instruct-1.5b-v1.0
- Demo: Fibogacci/muszka-instruct-demo
- Strona modelu: muszkaowocowa.pl/muszka-instruct • LinkedIn autora
Model bazowy: speakleash/Bielik-1.5B-v3.0-Instruct (SpeakLeash i ACK Cyfronet AGH, Apache 2.0). Muszka to niezależny projekt, a nie oficjalny model SpeakLeash.
Licencja: Apache 2.0.