diktalo-e4b (GGUF)
A small fine-tuned Gemma 4 E4B model that turns Hungarian voice dictation transcripts into structured notes (JSON).
The bigger one. Better summaries and handles long, messy dictations better, but needs more RAM and is slower on a phone.
There is also a E2B version. Code and training data: github.com/seyuyo/diktalo
What it does
You record something on your phone (meeting notes, todo list, shopping list, whatever), Whisper turns it into text, and this model makes a clean note out of it:
{
"cim": "short title",
"osszefoglalo": "1-3 sentence summary",
"pontok": ["main points"],
"teendok": ["todos, empty list if none"],
"datumok": ["mentioned dates / deadlines with context"]
}
(The field names are Hungarian: cim = title, osszefoglalo = summary, pontok = points, teendok = todos, datumok = dates.)
It was also trained to deal with typical speech-to-text problems:
- filler words (ööö, hát, izé) are dropped
- self-corrections like "on Tuesday... I mean Wednesday" are resolved
- misheard / nonsense words are not copied over and not made up, the model either fixes them from context or leaves them out
It's a single-task model, not a chatbot. Don't expect it to answer general questions.
Prompt
Important: use exactly this prompt (character for character), with the transcript appended at the end. This is what the model was trained on, if you change it the results get worse.
Az alábbi szöveg egy magyar nyelvű hangfelvétel gépi átirata. Strukturáld az alábbi JSON formátumba. A mezők tartalma nyelvtanilag helyes, természetes magyar legyen. Ha egy szó vagy kifejezés az átiratban nem egyértelmű vagy furcsán hangzik, NE találj ki hozzá jelentést. Ha a szövegkörnyezetből egyértelműen kiderül, mire utal (pl. egy korábban már említett dologra), azt használd; ha nem derül ki, és a szó szerinti átvétel értelmetlen vagy nyelvtanilag hibás mondatot eredményezne, hagyd ki teljesen — soha ne másolj be szó szerint egy zajos/értelmetlen kifejezést csak azért, mert az átiratban szerepelt. Csak a JSON-t add vissza, semmi mást.
{
"cim": "rövid, tömör cím",
"osszefoglalo": "1-3 mondatos összefoglaló",
"pontok": ["a tartalom fő pontjai listában"],
"teendok": ["konkrét teendők, ha vannak, egyébként üres lista"],
"datumok": ["említett dátumok/határidők kontextussal, ha vannak"]
}
Átirat:
<your transcript here>
Thinking mode is disabled, the model answers with the JSON right away.
Files
| File | Description |
|---|---|
gemma-4-e4b-it.Q4_K_M.gguf |
the model, Q4_K_M quantization (~5.3 GB) |
gemma-4-e4b-it.BF16-mmproj.gguf |
vision/audio projector from the base model, not needed for text only |
Modelfile |
Ollama Modelfile with the Gemma 4 chat template |
Running with Ollama
Download the GGUF and the Modelfile into one folder, then:
ollama create diktalo-e4b -f Modelfile
ollama run diktalo-e4b
Running with llama.cpp
llama-cli -m gemma-4-e4b-it.Q4_K_M.gguf --temp 0.3 -c 8192
Training
- Base model: unsloth/gemma-4-E4B-it
- QLoRA (4-bit) with Unsloth, on a single RTX 5060 Ti 16GB
- LoRA r=16, alpha=16, 2 epochs, learning rate 1e-4, only the language layers were tuned
- Loss computed only on the assistant answer (the JSON), not on the prompt
- 500 synthetic examples, generated with DeepSeek: realistic Whisper-style transcripts on random everyday topics (work meetings, doctor visits, car repair, travel planning, etc.) with different speaking styles and some transcription noise
Limitations
- Trained only on synthetic data, so real transcripts can still trip it up sometimes
- Hungarian only
- Very long dictations (5+ minutes) can lose some details
- Always check dates and names in the output, it can still get them wrong
License
Apache 2.0, same as the base model (Gemma 4 license).