Modelo das questões 2 e 3 (SFT, LoRA e QLoRA) do Trabalho Final de Tópicos em Inteligência Artificial (PLN), UFPI, 2026.2. Responde perguntas sobre produção científica brasileira em segurança pública, justiça e cidadania a partir de trechos fornecidos, citando o trecho usado e recusando quando a resposta não está neles.
LoRA r = 16, α = 32, dropout 0,05, nas projeções q, k, v, o, gate, up e down; base em bf16; taxa de aprendizado 2·10⁻⁴.
2 épocas, lote efetivo de 16 (2 × 8 de acumulação), até 4.608 tokens por exemplo, AdamW de 8 bits, aquecimento e decaimento cosseno; perda só nos tokens da resposta.
2.705 pares instruction / input / output gerados pelo Qwen2.5-7B-Instruct local a partir do corpus (arquivo sft/sft_pares_local.jsonl em segjusticidadania-experimentos): 1.844 perguntas ancoradas com cinco trechos e resposta terminada em [k], 600 recusas ("Não encontrado nos documentos.") e 261 resumos. Treino 2.422, validação 283 (10% dos documentos, separados por documento). Nenhum documento de origem de item de benchmark entra nos pares.
Avaliação nas 30 perguntas ancoradas do benchmark de evidência (itens/ em segjusticidadania-experimentos), com os mesmos cinco trechos fixos para todos os modelos (recuperador híbrido e5 + BM25) e o prompt no formato do treino, geração gulosa, até 160 tokens. Acerto: os termos-chave da resposta de referência aparecem na resposta. "Para sozinho": respostas encerradas antes do limite de 160 tokens. Múltipla escolha: 1.438 itens de lacuna (lei, súmula, artigo, percentual, ano), escolha por verossimilhança, sem contexto.
| Modelo | Acerto (30) | Cita o trecho certo | Recusas | Para sozinho | McNemar × sem SFT | Múltipla escolha (1.438) |
|---|---|---|---|---|---|---|
| Qwen2.5-1.5B-Instruct (sem SFT) | 24 | 3 | 0 | 29/30 | — | 50,4% |
| S1, ajuste completo | 20 | 22 | 4 | 30/30 | p = 0,289 | 50,6% |
| S2, LoRA (este modelo) | 15 | 24 | 4 | 30/30 | p = 0,012 | 49,4% |
| S3, QLoRA | 18 | 23 | 4 | 30/30 | p = 0,109 | 49,7% |
| S1m, ajuste completo, melhor ponto de validação | 17 | 26 | 4 | 30/30 | p = 0,039 | 50,6% |
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")
mod = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", dtype="auto", device_map="auto")
mod = PeftModel.from_pretrained(mod, "gutoportelaa/qwen2.5-segjusticidadania-sft-s2")
sistema = ("Você responde perguntas sobre produção científica brasileira em segurança pública, "
"justiça e cidadania. Responda em português, de forma direta.")
instrucao = ("Responda à pergunta usando somente os trechos fornecidos. Cite entre colchetes o número "
"do trecho usado. Se a resposta não estiver nos trechos, responda exatamente "
"\"Não encontrado nos documentos.\"")
trechos = "[1] ...\n\n[2] ..."
msgs = [{"role": "system", "content": sistema},
{"role": "user", "content": f"{instrucao}\n\n{trechos}\n\nPergunta: ..."}]
enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(mod.device)
out = mod.generate(enc, max_new_tokens=160, do_sample=False)
resposta = tok.decode(out[0][enc.shape[1]:], skip_special_tokens=True)
print(resposta)
treino.json traz a configuração e o histórico de perdas do treino.
Qwen/Qwen2.5-1.5B-Instruct