GPT2-Small para la Lengua Náhuatl (Modelo Fundamental de Bajos Recursos)

Descripción del Modelo

Este modelo autorregresivo está basado en la arquitectura GPT-2, configurado de manera compacta (4 capas, 4 cabezas de atención) y entrenado desde cero (from scratch). Se diseñó como una prueba de concepto avanzada para mitigar el sobreajuste (overfitting) en escenarios de extrema escasez de datos (Low-Resource NLP).

Detalles Técnicos y Entrenamiento

• Tokenizador: Byte-Pair Encoding (BPE) entrenado de forma nativa para segmentar la morfología aglutinante del idioma.
• Regularización: Se aplicó un coeficiente de Weight Decay de 0.01 y un tamaño de contexto máximo reducido a 128 posiciones debido a las limitantes del tamaño del corpus.

¿Cómo usarlo vía Pipeline?

from transformers import pipeline

generator = pipeline("text-generation", model="ManuelBautista/gpt2-small-nahuatl-nativo")
print(generator("Niltze", max_length=20))