Pesos de um comitê Serigy treinado para triagem de mensagens de clientes de banco em português
(BANKING77 traduzido), e as instruções de uso pela SDK serigy. O
modelo lê a mensagem com três LLMs congelados, o Manacá-1B,
o S5-nano e o Lumi-4B, e
responde a perguntas tipadas que você escreve do seu jeito: o assunto (Escolha), a urgência
(Indice) e sim/não (Verdadeiro). Cada resposta traz confidence, para decidir, e uncertainty, para
saber se as heads concordam.
São 15 heads, cinco sobre cada LLM, e cada uma lê o estado oculto do seu sensor. O acerto fica dentro do
IC95 do comitê de um sensor só, serigy-banking77-ptbr
(S5-nano), que custa 9,3 GB de sensores em vez de ~21 GB: na maioria dos usos, o de um sensor basta.
| Arquivo | Função |
|---|---|
comite.json |
Manifesto do modelo: sensores, encoder, temperaturas e quantis de referência da uncertainty |
membro_{0..14}.safetensors · .json |
As 15 heads treinadas: 0–4 Manacá-1B, 5–9 S5-nano, 10–14 Lumi-4B (seeds 42–46; 1,0–1,3 M de parâmetros cada) |
figuras/ |
Scorecards (perguntas livres e originais) e comparação com o Jev |
notebook_quick_start_with_Serigy.ipynb |
Quick start: perguntas do treino e perguntas livres sobre mensagens de clientes |
São ~67 MB de pesos treinados. Os três LLMs (Manacá-1B 3,5 GB, S5-nano 9,3 GB, Lumi-4B 8,0 GB) e o encoder MiniLM multilíngue não são redistribuídos aqui: a SDK os baixa dos repositórios originais na primeira execução, com a revisão fixada. Este repositório não contém código de inferência; o uso é pela SDK.
pip install "serigy>=0.5" # backend torch (CUDA → MPS → CPU)
pip install "serigy[mlx]>=0.5" # opcional: GPU do Mac (Apple Silicon)
Os três sensores ficam carregados juntos: são ~10,4 B de parâmetros, ~21 GB em bf16 (o padrão na GPU) e ~42 GB em fp32. Use uma GPU com 24 GB ou mais, ou um Mac com 32 GB ou mais no backend MLX.
Para começar rápido, abra o notebook_quick_start_with_Serigy.ipynb.
system_one)Escreva a instrução, as opções e os níveis como fizerem sentido no seu atendimento. O modelo foi treinado com um banco de paráfrases, chaves e descrições variadas, polaridade invertida e opção de escape, e foi testado com formulações que nunca viu (veja o que foi medido).
from serigy import SerigyModel, Escolha, Indice, Verdadeiro
model = SerigyModel("wendellperbar/serigy-banking77-ptbr-multi")
perguntas = {
"fila": Escolha(
instructions="Para qual equipe devo mandar esta mensagem?",
criteria={
"cartoes": "Cartão: chegada, ativação, senha, bloqueio, cartão recusado",
"pagamentos": "Transferências, pagamentos e saques",
"contestacao": "Cobranças, taxas, câmbio e estornos",
"nenhuma_das_anteriores": "Nenhuma das opções acima",
},
),
"prioridade": Indice(
instructions="Com que pressa precisamos responder?",
criteria=["Só uma dúvida", "Pedido sem prejuízo", "Cliente travado ou valor errado", "Possível fraude ou perda"],
),
"so_duvida": Verdadeiro(instructions="O cliente está só tirando uma dúvida?"),
}
result = model.system_one("Meu cartão foi roubado ontem e vi duas compras que não fiz.", perguntas, leitura=True)
fila = result.answers["fila"]
print(fila.escolha, fila.confidence, fila.uncertainty, fila.leitura)
print(result.answers["prioridade"].indice, result.answers["so_duvida"].verdadeiro)
print(result.as_public_dict()) # JSON público
| Primitiva | O que responde | Resposta |
|---|---|---|
Escolha |
Qual opção? (2–6 opções, chaves livres, descrição opcional) | escolha, probabilities, confidence, uncertainty |
Indice |
Em que ponto da escala? (níveis ordenados) | indice (Σ k·P(k)), legend, probabilities, confidence, uncertainty |
Verdadeiro |
A proposição é verdadeira? | verdadeiro (P(sim)), uncertainty |
O texto é lido uma vez por cada LLM; cada pergunta a mais sobre ele sai quase de graça.
Dicas para acertar mais:
nenhuma_das_anteriores para que essas mensagens tenham para onde ir.nenhuma_das_anteriores (com a descrição "Nenhuma das opções acima"). Com nomes
que nunca viu, como outros, ele escolhe o escape com menos frequência.Indice: quatro níveis em ordem (crescente ou decrescente), com o sentido da escala que o
modelo aprendeu: dúvida de rotina → pedido sem prejuízo → algo travado ou valor errado → fraude ou perda.
Pode reescrever as palavras, mas níveis com outro sentido (por exemplo, "hoje" / "agora") custam 12–15
pontos.O treino partiu destas três perguntas (e de paráfrases delas). São a referência dos números de Treinamento:
perguntas_treino = {
"assunto": Escolha(
instructions="Qual o tipo desta solicitação bancária?",
criteria={
"cartao": "Obter, entregar, ativar, usar ou bloquear o cartão (físico, virtual, PIN, carteira digital)",
"movimento_dinheiro": "Transferência, pagamento, saque ou recebimento: andamento, recusa, falha ou como fazer",
"cobranca_taxa": "Taxa, câmbio, cobrança indevida ou não reconhecida, reembolso",
"recarga_saldo": "Adicionar dinheiro à conta (recarga, depósito) ou saldo que não atualizou",
"conta_acesso": "Conta, identidade, senha, dados pessoais, encerramento ou elegibilidade (país, idade, moeda)",
},
),
"urgencia": Indice(
instructions="Qual a urgência / risco operacional desta solicitação?",
criteria=[
"Informação ou dúvida de rotina, sem ação pendente",
"Pedido de ação ou acompanhamento, sem prejuízo",
"Problema que impede uma operação ou envolve valor errado",
"Risco de fraude ou perda (cartão/telefone roubado, transação não reconhecida)",
],
),
"incidente": Verdadeiro(instructions="Esta mensagem descreve um incidente / problema a resolver?"),
}
Acerto no test_sem_quase (1 933 frases), comparando este modelo com o mesmo comitê treinado só com as três
perguntas fixas. "Nunca vista" = formulação que não aparece no treino. Nas linhas de escape, o número é a
fração das respostas que caem no escape.
| Pergunta | Treino original | Este modelo | |
|---|---|---|---|
As perguntas do treino original (escolha · indice · verdadeiro) |
0,916 · 0,891 · 0,812 | 0,928 · 0,895 · 0,829 | ✅ |
Escolha: instrução nunca vista, critérios vistos |
0,825 | 0,923 | ✅ |
Escolha: 2 ou 3 das 5 opções (frases desses assuntos) |
0,977 · 0,929 | 0,977 · 0,946 | ✅ |
Escolha: + 3 opções que não existem nos dados (consórcio, IR, financiamento) |
0,917 | 0,929 (distrator escolhido em 0,0%) | ✅ |
Escolha: só as chaves, sem descrição |
0,868 | 0,900 | ✅ |
Escolha: chaves e descrições nunca vistas |
0,753–0,859 | 0,795–0,875 | ⚠️ 5–13 pontos abaixo do original |
nenhuma_das_anteriores (nome visto no treino) com o assunto fora da lista (escape escolhido) |
39% | 91% | ✅ |
nenhuma_das_anteriores com o assunto na lista (escape escolhido, deveria ser 0) |
0,0% | 0,3% | ✅ |
Escape com nome nunca visto (nao_se_aplica, outros), assunto fora da lista |
15%–23% | 58%–63% | ⚠️ prefira nenhuma_das_anteriores |
Indice: instrução nunca vista, níveis vistos |
0,842 | 0,891 | ✅ |
Indice: níveis em ordem inversa (do mais ao menos urgente) |
0,884 | 0,894 | ✅ |
Indice: redação dos níveis nunca vista |
0,624–0,651 | 0,760–0,771 | ⚠️ 12–15 pontos abaixo do original |
Verdadeiro: instrução nunca vista |
0,812 | 0,835 | ✅ |
Verdadeiro: polaridade invertida nunca vista ("é só uma consulta, sem problema?") |
0,155 | 0,813 | ✅ |
Verdadeiro foi rotuladoO alvo tem três valores, vindos da intenção do BANKING77: 1 (incidente: cartão perdido, cobrança não reconhecida, transferência que falhou), 0 (dúvida ou pedido de rotina) e 0,5 (intenções ambíguas, como "meu cartão ainda não chegou"). Com a pergunta invertida ("é só uma dúvida?"), o 1 e o 0 trocam. No scorecard, a resposta conta como certa se P(sim) ≥ 0,5 no 1, P(sim) < 0,5 no 0 e 0,35 ≤ P(sim) ≤ 0,65 no 0,5. A coluna "só 0/1" deixa os ambíguos de fora.
serigy --model wendellperbar/serigy-banking77-ptbr-multi --json '{"state":"…","questions":{…}}' --leitura
serigy --model wendellperbar/serigy-banking77-ptbr-multi --backend mlx --json '…' # GPU do Mac
O atalho predict (e o CLI sem --json) faz as perguntas do modelo de fake news; neste modelo, use
system_one.
SerigyModel| Argumento | Padrão | Uso |
|---|---|---|
repo_or_path (1º argumento) |
wendellperbar/serigy-fake-news-br |
Passe "wendellperbar/serigy-banking77-ptbr-multi" ou uma pasta local com comite.json (uso offline) |
revision |
nenhuma (a main deste repo) |
Fixar um commit deste repo (ou env SERIGY_HUB_REVISION) |
backend |
"torch" |
"mlx" na GPU do Mac (serigy[mlx]) |
device |
automático (CUDA → MPS → CPU) | Só no torch, por exemplo "cpu" |
dtype |
"auto" (bf16 na GPU, fp32 na CPU) |
"float32" ou "bfloat16" |
Para uso offline, baixe o repositório e passe o caminho:
from huggingface_hub import snapshot_download
pasta = snapshot_download("wendellperbar/serigy-banking77-ptbr-multi", allow_patterns=["comite.json", "membro_*"])
model = SerigyModel(pasta)
confidence e uncertaintyconfidence (a maior probabilidade, calibrada no val) serve para decidir: encaminhe
automaticamente quando passar de um limiar que vem do custo do erro no seu caso. No Verdadeiro, ela é
max(verdadeiro, 1 − verdadeiro).uncertainty é a discordância entre as 15 heads, em nats. Ela é 0 quando as heads
concordam e não tem teto fixo em 1. Neste modelo, ela não inclui o sinal semântico (C_sem) do modelo
de fake news, que lá foi treinado em verdadeira × falsa e não tem análogo aqui. A escala vem dos quantis no
val (com as perguntas do treino e paráfrases):| Primitiva (val, n = 1960) | q50 | q80 | q90 | q95 |
|---|---|---|---|---|
escolha |
0,020 | 0,133 | 0,209 | 0,287 |
indice |
0,067 | 0,176 | 0,237 | 0,290 |
verdadeiro |
0,024 | 0,047 | 0,061 | 0,075 |
Com leitura=True, cada resposta ganha o campo leitura:
leitura |
Quando | Em palavras |
|---|---|---|
pode_apostar |
confidence ≥ tau e uncertainty ≤ o quantil q do val |
"a resposta é X e pode apostar" |
nao_me_comprometo |
confidence ≥ tau, mas as heads discordam mais que o habitual |
"a resposta é X, mas não quero me comprometer" |
nao_sei |
confidence < tau |
"não sei" |
O padrão é tau=0.8 e q=0.9 (quantis disponíveis: 0.5, 0.8, 0.9 e 0.95). Sem o C_sem, a discordância
sozinha separa mal um texto de outro domínio (paper, §5.8): não use a uncertainty deste modelo como
detector de texto fora do domínio.
| Dados | c2d-usp/banking77-pt-br (BANKING77 traduzido): 77 intenções agrupadas em 5 assuntos, com urgência (0–3) e incidente (0 / 0,5 / 1) derivados da intenção por uma tabela fixa |
| Splits | train 8 806 · val 980 (10% do train, estratificado por intenção) · test 3 080 (oficial); cópias exatas do test removidas do train |
test_sem_quase |
1 933 frases do test sem quase-cópia no train/val (cosseno MiniLM ≥ 0,95): 36,6% do test tem uma, porque o BANKING77 tem muitas paráfrases curtas |
| Perguntas | Cada frase com a pergunta original e uma cópia com pergunta sorteada de um banco de paráfrases: 8 instruções e 12 conjuntos de opções (chaves e descrições variadas) na escolha, 6 instruções e 3 redações dos níveis no indice (30% em ordem inversa), 12 perguntas no verdadeiro (metade com a polaridade invertida) |
| Opções abertas | +1 cópia de cada escolha com a lista alterada: distratores (assuntos que não existem nos dados), opção de escape (como alvo quando o assunto certo sai da lista) e listas menores. Os distratores e os escapes do teste são outros |
| Sensores | Manacá-1B, S5-nano e Lumi-4B congelados, MLX bf16; h = média do último estado oculto (2 048 · 2 560 · 3 136 dims) |
| Heads | FiLM (receita paraf_film do paper Serigy Sapiens), seeds 42–46 por sensor; os LLMs não são ajustados |
| Comitê | Membros crus (T = 1), P̄ = média das heads; uma temperatura por primitiva ajustada no val |
Resultados com as perguntas do treino original (acurácia; IC95 de Wilson):
test (3 080) |
test_sem_quase (1 933) |
Referência constante* | |
|---|---|---|---|
escolha (5 assuntos) |
0,947 [0,939–0,955] | 0,928 [0,915–0,938] | 0,254 |
indice (urgência 0–3) |
0,914 [0,903–0,923] | 0,895 [0,881–0,908] | 0,315 |
verdadeiro (com o 0,5) |
0,857 [0,844–0,869] | 0,829 [0,812–0,845] | 0,654 |
verdadeiro só 0/1 |
0,959 | 0,947 | — |
ECE (escolha · indice · verdadeiro) |
0,008 · 0,019 · 0,023 | 0,011 · 0,016 · 0,021 | — |
* a melhor resposta constante no test_sem_quase (no verdadeiro, sempre "0,5").
O número de generalização é o do test_sem_quase. Treinar com perguntas variadas não custou acerto nas
perguntas originais: o comitê treinado só com elas fazia 0,916 · 0,891 · 0,812 no
test_sem_quase, e este faz 0,928 · 0,895 · 0,829.
Os dois comitês publicados (este e o de um sensor, serigy-banking77-ptbr) × Jev (TypeSafe AI, jev-latest, zero-shot pela API), com as
mesmas perguntas (as do treino original) e as mesmas frases. O Serigy foi treinado neste dataset e o Jev não:
é uma comparação entre especialista e generalista, não um ranking.
test_sem_quase |
Este modelo | Jev (zero-shot) |
|---|---|---|
escolha |
0,928 | 0,840 |
indice |
0,895 | 0,641 |
verdadeiro |
0,829 | 0,665 |
verdadeiro só 0/1 |
0,947 | 0,847 |
| ECE média (menor é melhor) | 0,016 | 0,093 |
O Jev fica na referência constante do verdadeiro porque trata o 0,5 (ambíguo) como incidente; a linha "só
0/1" tira esse efeito.
Com perguntas livres. O Jev é zero-shot, então perguntas escritas de outro jeito são, em princípio, o
terreno dele. Ele recebeu as mesmas perguntas variadas da tabela acima,
uma chamada por mensagem (7 720 chamadas, test_sem_quase). Acurácia escolha · indice · verdadeiro:
| Condição | Este modelo | Jev (zero-shot) |
|---|---|---|
| A · instrução, opções, níveis e polaridade invertida, todos nunca vistos | 0,800 · 0,760 · 0,813 | 0,765 · 0,576 · 0,625 |
| B · instrução nunca vista, opções e níveis do treino | 0,923 · 0,891 · 0,835 | 0,785 · 0,616 · 0,692 |
C · assunto fora da lista + nao_se_aplica; níveis invertidos; polaridade invertida |
0,634 · 0,894 · 0,832 | 0,227 · 0,643 · 0,698 |
D · assunto na lista + nenhuma_das_anteriores; níveis reescritos; outra instrução |
0,928 · 0,888 · 0,820 | 0,822 · 0,587 · 0,752 |
Este modelo fica à frente nas 12 combinações. A disputa mais apertada é a das opções nunca vistas na
escolha (A), onde este modelo é mais fraco; o Jev também cai ali (de 0,840 com a pergunta
original). O escape é onde a diferença é maior: sem o assunto certo na lista, o Jev escolhe nao_se_aplica
em 23% das frases.
Com as perguntas do treino original:
gpt-4o-mini);
não há teste fora da distribuição. Nas 183 frases do test revisadas à mão, a escolha cai 3–4,5 pontos.uncertainty aqui é só a discordância das heads (veja acima).allow_custom_models=True para sair dela).
Em serviços HTTP, fixe o modelo no servidor.Pesos sob Apache-2.0. Os modelos congelados mantêm as próprias licenças: Manacá-1B (CC-BY-4.0),
S5-nano (Apache-2.0, Maritaca AI), Lumi-4B (CEIA-UFG; derivado do NVIDIA Nemotron-3-Nano-4B, sob os termos
do modelo base e do repositório do Lumi) e MiniLM multilíngue (Apache-2.0). Dados: BANKING77
(Casanueva et al., 2020, CC-BY-4.0), na tradução
c2d-usp/banking77-pt-br (CC-BY-4.0).
Ao usar, cite:
@misc{barreto2026serigybanking77multi,
title = {Serigy Banking77 PT-BR (3 sensores): triagem banc{\'a}ria com perguntas livres, tipadas e calibradas},
author = {Barreto, Wendell Pereira},
year = {2026},
month = {11},
howpublished = {\url{https://huggingface.co/wendellperbar/serigy-banking77-ptbr-multi}},
note = {Comit{\^e} Serigy sobre Manac{\'a}-1B, S5-nano e Lumi-4B, Hugging Face}
}
@inproceedings{casanueva2020efficient,
title = {Efficient Intent Detection with Dual Sentence Encoders},
author = {Casanueva, I{\~n}igo and Tem{\v{c}}inas, Tadas and Gerz, Daniela and Henderson, Matthew and Vuli{\'c}, Ivan},
booktitle = {Proceedings of the 2nd Workshop on Natural Language Processing for Conversational AI},
year = {2020}
}
membro_10.safetensors 5 MBmembro_11.safetensors 5 MBmembro_12.safetensors 5 MBmembro_13.safetensors 5 MBmembro_14.safetensors 5 MBmembro_5.safetensors 5 MBmembro_6.safetensors 5 MBmembro_7.safetensors 5 MBmembro_8.safetensors 5 MBmembro_9.safetensors 5 MBmembro_0.safetensors 4 MBmembro_1.safetensors 4 MBmembro_2.safetensors 4 MBmembro_3.safetensors 4 MBmembro_4.safetensors 4 MBAIInstituteLNCC/manaca-1b-base