Grace-G1-55M
Grace-G1-55M è un modello linguistico base (non instruction-tuned), bilingue italiano/inglese, addestrato da zero da BranchingNLP. Fa parte della famiglia Grace (55M → 1B), orientata a modelli generalisti piccoli ed efficienti, open source.
⚠️ Questo è il modello base: completa il testo, non segue istruzioni. Per l'assistente conversazionale vedi Grace-G1-55M-Instruct.
Architettura
Ibrido lineare/attenzione con ottimizzatore Muon:
| Parametri | 55.0M |
| Mixer | Gated DeltaNet (flash-linear-attention) in rapporto 3:1 con attenzione piena gated |
| Attenzione | GQA + QK-norm + RoPE + output gate sigmoide (stile Qwen3-Next) |
| d_model / layer | 512 / 12 |
| Heads (attn) | 8 query / 2 kv |
| GDN heads / head_dim | 4 / 64 |
| FFN | SwiGLU, d_ff 1408 |
| Norm | RMSNorm (pre-norm) |
| Vocab | 32768 (BPE) |
| Context | 2048 token |
| Ottimizzatore | Muon (matrici 2D) + AdamW (embedding/norme) |
Addestramento
- 10B token (~182 token/parametro, regime di over-training)
- Schedule WSD (warmup-stable-decay), decay nell'ultimo 20%
- Mix bilingue IT/EN: web (FineWeb-Edu, FineWeb2-it, Nemotron-CC), Wikipedia, libri, codice, matematica, Q&A
- Val loss finale: 2.5733
- Hardware: singola RTX 3070 (8GB)
Limiti
- 55M parametri: conoscenza fattuale limitata, inventa fatti (date, nomi, luoghi). È un modello piccolo, non un'enciclopedia.
- La matematica e il ragionamento del base sono deboli (migliorano nella versione Instruct dopo SFT).
- Richiede GPU +
fla(kernel Triton): i layer Gated DeltaNet non girano su CPU.
Uso
import json, torch
from safetensors.torch import load_file
from proxy_arch import LM # incluso in questo repo
from transformers import AutoTokenizer
cfg = json.load(open("config.json"))
variant = "hybrid" if cfg["variant"].startswith("hyb") else cfg["variant"]
model = LM(variant, cfg["vocab"], cfg["d"], cfg["layers"], cfg["heads"], cfg["kv"],
cfg["ff"], cfg["seq"], cfg["gdn_heads"], cfg["gdn_head_dim"],
cfg["attn_every"], cfg.get("mixer", "gdn")).cuda()
model.load_state_dict(load_file("model.safetensors"))
model.eval()
tok = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
ids = tok("La capitale d'Italia è", add_special_tokens=False)["input_ids"]
x = torch.tensor([[tok.bos_token_id] + ids], device="cuda")
for _ in range(60):
with torch.autocast("cuda", torch.bfloat16):
nxt = model(x[:, -cfg["seq"]:])[0, -1].argmax()
x = torch.cat([x, nxt.view(1, 1)], 1)
print(tok.decode(x[0].tolist(), skip_special_tokens=True))
Requisiti: pip install torch fla-core transformers safetensors + GPU CUDA.
Licenza
Pesi e codice: Apache-2.0. I dataset di addestramento mantengono le loro licenze originali (vedi le fonti sopra).
Citazione
@misc{grace_g1_55m,
title = {Grace-G1-55M},
author = {Di Nicola, Michelangelo},
year = {2026},
howpublished = {\url{https://huggingface.co/BranchingNLP/Grace-G1-55M}}
}