mini-GPT italiano (MLX, 12M parametri)
Un transformer decoder-only scritto da zero con MLX e addestrato su un MacBook con 29 libri italiani di pubblico dominio. È un progetto didattico: serve a capire come funziona un language model, non a produrre testo utile.
A small GPT-style language model written from scratch in MLX and trained on 29 public-domain Italian books. Educational project: it writes Italian-looking prose whose meaning does not hold beyond a sentence.
Codice, test, esperimenti e un manuale che spiega ogni componente: https://github.com/patricale/mini-gpt-mlx.
Che cosa sa fare
Continua un testo in italiano letterario dell'Ottocento e del primo Novecento. Ortografia, punteggiatura e dialoghi sono quasi sempre ben formati; il senso non regge oltre la singola frase e ogni tanto compaiono parole inventate.
Quel ramo del lago di Comodomo e della Signora, che erano infatti commossi, fin dall'esser loro fatto per lui, da un tempo in cui il diletto si avrebbe fatto male.
Architettura
| Tipo | decoder-only, pre-norm, weight tying tra embedding e LM head |
| Dimensioni | 6 layer, 6 head, d_model 384, contesto 256 token |
| Parametri | 12.194.688 |
| Posizioni | RoPE (Rotary Position Embedding) |
| Normalizzazione | RMSNorm |
| MLP | GELU, rapporto 4 |
| Tokenizer | BPE a livello di byte, vocabolario 4096, scritto da zero |
Non è un'architettura di transformers: per usarlo serve il codice incluso in questo
repository (cartella minigpt/, circa 1000 righe commentate).
Come si usa
Servono un Mac con Apple Silicon e Python 3.12.
pip install mlx numpy pyyaml
python example.py --prompt "Quel ramo del lago di Como" --temperature 0.8 --top-p 0.9
Oppure da Python, dalla cartella scaricata:
import json
import mlx.core as mx
from minigpt.config import ModelConfig
from minigpt.generate import generate
from minigpt.model import GPT
from minigpt.tokenizer import BPETokenizer
model = GPT(ModelConfig(**json.load(open("config.json"))["model"]))
model.load_weights("model.safetensors")
tok = BPETokenizer.load("tokenizer.json")
ids = mx.array([tok.encode("Quel ramo del lago di Como")])
out = generate(model, ids, max_new_tokens=200, temperature=0.8, top_p=0.9)
print(tok.decode(out[0].tolist()))
Dati
29 libri in italiano da Project Gutenberg, tutti di pubblico dominio: Manzoni, Dante, Leopardi, Collodi, Pirandello, Fogazzaro, De Amicis, Deledda, Salgari, D'Annunzio, Capuana, Serao, De Roberto, Rovetta. In tutto 14,1 milioni di caratteri, cioè 3,89 milioni di token di training e 0,43 milioni di validation (divisione 90/10 dentro ogni libro, così tutti gli autori compaiono in validation).
Training
| Step | 3.000, batch 64 × 256 token (circa 12,6 passate sul corpus) |
| Ottimizzatore | AdamW scritto a mano, β = (0,9, 0,95), weight decay 0,1 |
| Learning rate | 6e-4 con 200 step di warmup, poi coseno fino a 6e-5 |
| Regolarizzazione | dropout 0,2, gradient clipping a 1,0 |
| Hardware | MacBook Pro M4 Pro, 24 GB; circa 29 minuti |
Risultati
| Metrica | Valore |
|---|---|
| Loss di validation | 3,540 |
| Perplexity di validation | 34,5 |
La valutazione è su 20 batch fissi del set di validation. Senza dropout lo stesso modello va in overfitting dopo 2000 step (miglior loss 3,628): il corpus è piccolo rispetto ai parametri.
Limiti
- Non capisce e non sa nulla: produce testo dall'aspetto plausibile, senza coerenza oltre la frase e senza alcuna affidabilità sui fatti.
- Solo italiano letterario d'epoca: lessico, grafia e punteggiatura sono quelli dei
libri di training (per esempio i dialoghi introdotti da
--o—). Su testo moderno, tecnico o in altre lingue il risultato è peggiore. - I testi riflettono la loro epoca, compresi stereotipi e linguaggio oggi inaccettabili, che il modello può riprodurre.
- Contesto di 256 token (circa 800 caratteri); oltre, la generazione tiene solo la parte finale del testo.
- Non è stato valutato per nessun uso pratico e non va usato in applicazioni reali.