Modelo das questões 2 e 3 (SFT, LoRA e QLoRA) do Trabalho Final de Tópicos em Inteligência Artificial (PLN), UFPI, 2026.2. Responde perguntas sobre produção científica brasileira em segurança pública, justiça e cidadania a partir de trechos fornecidos, citando o trecho usado e recusando quando a resposta não está neles.
LoRA r = 16, α = 32, dropout 0,05, nas projeções q, k, v, o, gate, up e down; taxa de aprendizado 2·10⁻⁴. Resposta encerrada com <|im_end|>.
2 épocas, lote efetivo de 16 (2 × 8 de acumulação), até 4.608 tokens por exemplo, AdamW de 8 bits, aquecimento e decaimento cosseno; perda só nos tokens da resposta.
2.705 pares instruction / input / output gerados pelo Qwen2.5-7B-Instruct local a partir do corpus (arquivo sft/sft_pares_local.jsonl em segjusticidadania-experimentos): 1.844 perguntas ancoradas com cinco trechos e resposta terminada em [k], 600 recusas ("Não encontrado nos documentos.") e 261 resumos. Treino 2.422, validação 283 (10% dos documentos, separados por documento). Nenhum documento de origem de item de benchmark entra nos pares.
Avaliação nas 30 perguntas ancoradas do benchmark de evidência (itens/ em segjusticidadania-experimentos), com os mesmos cinco trechos fixos para todos os modelos (recuperador híbrido e5 + BM25) e o prompt no formato do treino, geração gulosa, até 160 tokens. Acerto: os termos-chave da resposta de referência aparecem na resposta. "Para sozinho": respostas encerradas antes do limite de 160 tokens. Múltipla escolha: 1.438 itens de lacuna (lei, súmula, artigo, percentual, ano), escolha por verossimilhança, sem contexto.
| Modelo | Acerto (30) | Cita o trecho certo | Recusas | Para sozinho | McNemar × sem SFT | Múltipla escolha (1.438) |
|---|---|---|---|---|---|---|
| Qwen2.5-3B base (sem SFT) | 19 | 3 | 0 | 19/30 | — | 54,5% |
| S4, LoRA (este modelo) | 22 | 27 | 2 | 0/30 | p = 0,453 | 54,9% |
| S4b, LoRA, fim `< | endoftext | >` | 19 | 23 | 2 | 30/30 |
| Qwen2.5-3B com pré-treino continuado (sem SFT) | 7 | 3 | 0 | 20/30 | — | 60,6% |
| S5, LoRA | 22 | 27 | 2 | 0/30 | p < 0,001 | 60,2% |
| S5b, LoRA, fim `< | endoftext | >` | 21 | 25 | 2 | 30/30 |
<|im_end|> e gera até o limite (30 de 30). Corte a resposta na primeira citação [k] ou na frase de recusa. Prefira o S4b.from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B")
mod = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B", dtype="auto", device_map="auto")
mod = PeftModel.from_pretrained(mod, "gutoportelaa/qwen2.5-segjusticidadania-sft-s4")
sistema = ("Você responde perguntas sobre produção científica brasileira em segurança pública, "
"justiça e cidadania. Responda em português, de forma direta.")
instrucao = ("Responda à pergunta usando somente os trechos fornecidos. Cite entre colchetes o número "
"do trecho usado. Se a resposta não estiver nos trechos, responda exatamente "
"\"Não encontrado nos documentos.\"")
trechos = "[1] ...\n\n[2] ..."
msgs = [{"role": "system", "content": sistema},
{"role": "user", "content": f"{instrucao}\n\n{trechos}\n\nPergunta: ..."}]
enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(mod.device)
out = mod.generate(enc, max_new_tokens=160, do_sample=False)
resposta = tok.decode(out[0][enc.shape[1]:], skip_special_tokens=True)
import re
m = re.match(r"^(.*?(?:\[\d\]|Não encontrado nos documentos\.))", resposta, re.S)
resposta = m.group(1) if m else resposta # o modelo não emite o token de fim
print(resposta)
treino.json traz a configuração e o histórico de perdas do treino.
Qwen/Qwen2.5-3B