Qwen2.5-3B com pré-treino continuado — Segurança, Justiça e Cidadania
Ajuste completo (todos os pesos, exceto as embeddings) do
Qwen2.5-3B sobre 60 milhões de tokens
do núcleo temático de
segjusticidadania-curated:
teses, dissertações e artigos científicos brasileiros sobre segurança pública,
justiça e cidadania.
É um modelo base, não instruído. Ele modela o texto do domínio; não segue instruções nem responde perguntas de forma confiável.
Resultado
Perplexidade, com todos os modelos em bf16 na mesma A100:
| held-out | núcleo temático | Wikipédia pt (controle) | |
|---|---|---|---|
| Qwen2.5-3B base | 8,96 | 8,60 | 8,29 |
| este modelo | 7,42 (−17,2%) | 7,00 (−18,6%) | 8,71 (+5,0%) |
| Qwen2.5-7B base (referência) | 8,06 | 7,74 | 7,30 |
O modelo supera o Qwen2.5-7B sem adaptação no texto do domínio, com 2,5 vezes menos parâmetros.
O que ele aprendeu, e o que não aprendeu. A queda é quase igual no recorte temático estrito e no conjunto completo, que inclui documentos de outras áreas (−18,6% × −17,2%): o ganho é de gênero e formato do texto acadêmico extraído de PDF, não de tema. Na entropia cruzada das respostas do benchmark, a melhora é de 8,0% nas perguntas cujos documentos foram vistos no treino e de apenas 1,3% nos não vistos — ou seja, memorização, não conhecimento transferível. Para responder perguntas sobre os documentos, use recuperação (RAG): a acurácia vai de 0–7% sem contexto para 80–97% com contexto.
Treino
| Dados | núcleo temático (tema_llm == "P"), 16.647 documentos, 257,1 mi tokens |
| Orçamento | 60 mi tokens (1.831 passos), cerca de 23% do núcleo |
| Hardware | 1× A100 80 GB, 4.800 tokens/s, ~3,5 h |
| Bloco e lote | 1.024 tokens; 4 × 8 acumulações = 32.768 tokens por passo |
| Taxa de aprendizado | 1e-5, aquecimento de 2% e decaimento cosseno até 10% |
| Otimizador | AdamW 8 bits, β = (0,9; 0,95), decaimento de peso 0,1, recorte 1,0 |
| Precisão | pesos mestres fp32 com cálculo em bf16 |
| Embeddings | congeladas (a camada de saída é amarrada a elas) |
| Checkpoint publicado | passo 1.800, o melhor pela entropia cruzada do held-out |
Duas decisões merecem registro. Precisão: com pesos em bf16, atualizações
da ordem de 1e-5 sobre pesos de 1e-2 ficam abaixo da resolução do formato e são
arredondadas para zero; por isso os pesos mestres em fp32. Objetivo:
labels = input_ids, com verificação de que a perda do modelo coincide com a
entropia cruzada calculada à mão (2,2157), e não com a de duplo deslocamento
(11,9264).
Histórico completo da entropia cruzada em melhor/estado.json.
Uso
from transformers import AutoModelForCausalLM, AutoTokenizer
nome = "gutoportelaa/qwen2.5-3b-segjusticidadania-dapt"
tok = AutoTokenizer.from_pretrained(nome, subfolder="melhor")
mod = AutoModelForCausalLM.from_pretrained(nome, subfolder="melhor",
dtype="bfloat16", device_map="cuda")
Estrutura do repositório
| pasta | conteúdo |
|---|---|
melhor/ |
passo 1.800, o melhor pela entropia cruzada do held-out — use esta |
ultimo/ |
passo 1.831, com o estado do otimizador, para retomar o treino |
As duas pastas têm pesos equivalentes; a diferença são 31 passos finais com a
taxa de aprendizado no mínimo (entropia cruzada idêntica em quatro casas). Para
inferência, baixe apenas melhor/:
from huggingface_hub import snapshot_download
caminho = snapshot_download(nome, allow_patterns=["melhor/*"]) # 12,3 GB
Aplicações adequadas: continuar o treino, servir de base para ajuste por instrução, ou medir perplexidade em texto do mesmo gênero. Para pergunta e resposta, prefira um modelo instruído com recuperação.
Licença e limitações
Herda a licença de pesquisa do Qwen2.5-3B, que restringe o uso comercial; verifique o termo original. O modelo herda também os vieses do corpus: produção acadêmica brasileira em acesso aberto, com 16% de documentos residuais fora do tema, e texto que conserva as quebras de linha do PDF original. O controle fora do domínio subiu 5%, o que indica esquecimento moderado.
Repositórios do projeto
| repositório | conteúdo |
|---|---|
segjusticidadania-curated |
corpus final, trechos para RAG, benchmark e índice de auditoria |
segjusticidadania-pdfs |
camada Raw: os 81.076 PDFs originais |
segjusticidadania-indice-rag |
embeddings dos 663.730 trechos |
segjusticidadania-experimentos |
resultados brutos de todas as execuções |
qwen2.5-3b-segjusticidadania-dapt |
Qwen2.5-3B com pré-treino continuado (ajuste completo) |
qwen2.5-7b-segjusticidadania-dapt-lora |
adaptador LoRA do Qwen2.5-7B |