GPT-2-style-ptb-linear-page-2026-10-22
Petit modèle de langage de style GPT-2, au niveau caractère, entraîné sur ptb avec l'attention linear + page.
C'est le meilleur point de cette variante dans un benchmark de 8 variantes × 9 configurations × 5 graines.
Modèle retenu
| variante | linear + page |
| configuration | 3 couche(s), 2 tête(s), d_model = 256, d_ff = 512, block_size = 128 |
| paramètres | 3,572,486 |
| graine | 1 |
| meilleure loss de validation | 1.1223 (au pas 2850) |
| loss de validation finale | 1.1246 |
Cette variante sur toutes les configurations (ptb, 5 graines)
| configuration | loss de validation finale |
|---|---|
| 1L×1H | 1.2358 ± 0.0047 |
| 1L×2H | 1.2300 ± 0.0104 |
| 1L×4H | 1.2262 ± 0.0080 |
| 2L×1H | 1.1578 ± 0.0057 |
| 2L×2H | 1.1537 ± 0.0046 |
| 2L×4H | 1.1568 ± 0.0051 |
| 3L×1H | 1.1452 ± 0.0129 |
| 3L×2H | 1.1337 ± 0.0058 |
| 3L×4H | 1.1355 ± 0.0032 |
Entraînement
Adam (lr 0.001, betas [0.9, 0.999], eps 1e-08), clipping 1.0, 3000 pas, batch 32 × 128, évaluation tous les 150 pas sur 50 batchs. Algorithmes déterministes, float32, graines fixées.
Données : ptb, 5,101,618 caractères d'entraînement, 399,782 de validation, vocabulaire 50.
SHA-256 : entraînement 138eec6da756a38d3baf4c4c7c91fb7020c741783a1b48a09fbfd0b102a6e4ce, validation f45598d5fef9c825e4cdb28310e1ab30d00c4b3bfc26c68a2d3434c1defe11ac.
Reproductibilité
| début / fin (UTC) | 2026-10-22T10:56:56+00:00 / 2026-10-22T10:59:01+00:00 |
| durée | 125 s (33.6 ms par pas d'entraînement) |
| GPU | NVIDIA L4 (pilote 580.82.07) |
| CUDA / cuDNN | 13.0 / 92700 |
| PyTorch / Python | 2.11.0+cu130 / 3.13.15 |
| algorithmes déterministes | True |
Utilisation
from huggingface_hub import snapshot_download
import sys, torch
folder = snapshot_download("analist/GPT-2-style-ptb-linear-page-2026-10-22")
sys.path.insert(0, folder)
from modeling import load
model, tokenizer = load(folder)
idx = torch.tensor([tokenizer.encode("the company said")])
print(tokenizer.decode(model.generate(idx, max_new_tokens=200, temperature=0.8)[0].tolist()))