Model Card for Model ID

---

tags:

• text-generation

metrics:

• perplexity

model-index:

• name: Mini-GPT-10M

results:

• task: type: text-generation

metrics:

• type: perplexity value: 202.5

---

Mini-GPT 10M Parameters (From Scratch)

Ce modèle est un mini-GPT de 10 millions de paramètres entraîné entièrement à partir de zéro sur ensemble wikimedia/wikipedia

Détails de l'Architecture

• Modèle de base : GPT-2 architecture
• Couches (Layers) : 4
• Têtes d'attention (Heads) : 4
• Dimension d'embedding : 160
• Longueur de contexte : 512 tokens

Performance & Métriques

• Training Loss finale : 5.47
• Validation Loss finale : 5.31
• Perplexité : 202

Paramètres de génération recommandés

Pour éviter les bégaiements, utilisez ces paramètres :

• repetition_penalty: 1.2
• temperature: 0.7
• top_k: 50