roberta-nietzsche-pt

Um RoBERTa pequeno (4,5 milhões de parâmetros) treinado do zero em português, junto com um tokenizer Byte-Level BPE próprio, usando um único livro: Crepúsculo dos Ídolos, de Nietzsche.

É um projeto de estudo. O objetivo era entender por dentro como um modelo de linguagem é treinado e, principalmente, como medir se ele aprendeu ou só decorou. Não serve para uso real.

Código, notebook e explicação passo a passo: github.com/ArthurBenedett/minha-primeira-llm

Como usar

from transformers import pipeline

preencher = pipeline("fill-mask", model="ArthurBenedett/roberta-nietzsche-pt")
preencher("o que não me faz morrer me torna mais <mask>.")

Resultado

Avaliado em 584 lacunas sorteadas (com semente fixa) nos últimos 10% do livro, que o modelo nunca viu no treino:

O modelo ganha dos dois chutes, mas por pouco do chute pela frequência. A validação parou de melhorar no passo 500 (época ~31): dali em diante o loss de treino continuou caindo e o de validação subiu, ou seja, ele começou a decorar o livro. O early stopping guardou a versão do passo 500, que é a publicada aqui.

Limitações

• Pouco texto. São cerca de 26 mil palavras (35.570 tokens). Com isso, o que o modelo aprende e funciona fora do treino é principalmente quais palavras são comuns: os palpites costumam ser "," e "de".
• Sem conjunto de teste separado. O mesmo conjunto de validação escolheu o melhor checkpoint e mediu o resultado, então os números acima podem estar levemente otimistas.
• Tokenizer treinado no livro inteiro, incluindo o trecho de validação (o modelo, não).
• Uma lacuna, um token. Palavras que o tokenizer divide em vários pedaços não são previstas inteiras.
• Reflete o vocabulário e o estilo de um único livro do século XIX.

Como foi treinado

Créditos

Baseado na aula LLM na Prática do Prof. Marlon Ferrari (repo original), com adaptações: modelo menor para caber no CPU, livro inteiro em blocos, validação, early stopping e comparação com baselines.