Serigy Sapiens — FakeNews BR

Pesos do Serigy Sapiens (v1.1), treinados em notícias em português (FakeBR), e as instruções de uso pela SDK serigy. O modelo responde a perguntas tipadas sobre um texto, Escolha, Indice e Verdadeiro, e cada resposta traz confidence, para decidir, e uncertainty, para saber se o texto é terreno conhecido.

Arquivos

São ~41 MB de pesos treinados. Os LLMs congelados que o modelo lê (Manacá-1B e Tucano-1b1) e o encoder MiniLM multilíngue não são redistribuídos aqui: a SDK os baixa dos repositórios originais na primeira execução. Este repositório não contém código de inferência; o uso é pela SDK.

Instalação

pip install "serigy>=0.3"            # backend torch (CUDA → MPS → CPU)
pip install "serigy[mlx]>=0.3"       # opcional: GPU do Mac (Apple Silicon)

Não é preciso token: este repositório e os modelos congelados que a SDK baixa são públicos.

Uso

Para começar rápido, abra o notebook_quick_start_with_Serigy.ipynb: ele carrega o modelo e faz as mesmas três perguntas sobre seis textos, de notícias de 2026 a textos fora do domínio (inglês, código, receita), mostrando como a uncertainty sobe quando o texto sai do que o modelo conhece.

Perguntas tipadas (system_one)

from serigy import SerigyModel, Escolha, Indice, Verdadeiro

model = SerigyModel("wendellperbar/serigy-fake-news-br")
perguntas = {
    "tema": Escolha(
        instructions="Qual o tema da notícia?",
        criteria={"politica": None, "tv_celebridades": None, "sociedade_cotidiano": None},
    ),
    "gravidade": Indice(instructions="Quão grave?", criteria=["Baixa", "Média", "Alta"]),
    "falsa": Verdadeiro(instructions="A notícia é falsa?"),
}
result = model.system_one(
    "BOMBA!!! Apresentador famoso da Globo é preso em 2026 e a emissora paga milhões para "
    "esconder o caso. Veja o vídeo antes que tirem do ar!",
    perguntas,
    leitura=True,
)
tema = result.answers["tema"]
print(tema.escolha, tema.confidence, tema.uncertainty, tema.leitura)
# tv_celebridades 0.82 0.08 pode_apostar
print(result.answers["falsa"].verdadeiro)
# 0.997
print(result.as_public_dict())  # JSON público

As mesmas três perguntas sobre os seis textos do notebook de quick start:

Nas notícias, a uncertainty fica baixa ou média; nos textos fora do domínio, vai a 0,89–1,00. Ela sobe, mas nem sempre o bastante para barrar a resposta: na receita, o "é falsa?" ainda sai como pode_apostar.

As perguntas e as opções são texto livre: paráfrases e perguntas novas funcionam sem re-treino, inclusive com a polaridade invertida ("a notícia é verdadeira?"). Quando a lista de opções pode não cobrir o texto, inclua uma opção de escape como nenhuma_das_anteriores. O texto é lido uma vez, e cada pergunta a mais sobre ele custa ~1,5 ms.

Atalho de fake news (predict)

out = model.predict(
    "A Câmara dos Deputados aprovou nesta terça-feira, em votação simbólica, o projeto que altera "
    "regras do orçamento para 2026. O texto segue agora para análise do Senado."
)
# falsa=False, p_falsa=0.005, uncertainty=0.14, leitura="pode_apostar"; tema "politica"
# {"falsa": bool, "p_falsa": float, "confidence": float, "uncertainty": float,
#  "leitura": "pode_apostar" | "nao_me_comprometo" | "nao_sei",
#  "tema": {"escolha": str, "probabilities": {...}, "confidence": float, "uncertainty": float, "leitura": ...},
#  "usage": {"input_tokens": int}}

São as duas perguntas do treino ("A notícia é falsa?" e o tema: politica, tv_celebridades, sociedade_cotidiano) numa leitura só do texto.

CLI

serigy --model wendellperbar/serigy-fake-news-br "texto da notícia..."                           # predict
serigy --model wendellperbar/serigy-fake-news-br --json '{"state":"…","questions":{…}}' --leitura # system_one
serigy --model wendellperbar/serigy-fake-news-br --backend mlx --dtype bfloat16 "texto..."        # GPU do Mac, metade da memória

Opções do SerigyModel

Para uso offline, baixe a pasta comite/ e passe o caminho:

from huggingface_hub import snapshot_download
pasta = snapshot_download("wendellperbar/serigy-fake-news-br", allow_patterns=["comite/*"])
model = SerigyModel(pasta)

Como ler confidence e uncertainty

• confidence (a maior probabilidade, calibrada) serve para decidir: aja quando passar de um limiar que vem do custo do erro no seu caso. No Verdadeiro, ela é max(verdadeiro, 1 − verdadeiro).
• uncertainty (0–1) diz se o texto é terreno conhecido: um valor alto significa um texto diferente daqueles em que o modelo aprendeu. Em textos como os do treino, metade das respostas fica abaixo de ~0,4 e 90% abaixo de ~0,95.

Com leitura=True, cada resposta ganha o campo leitura:

O padrão é tau=0.8 e q=0.9. Os quantis disponíveis são 0.5, 0.8, 0.9 e 0.95: model.system_one(texto, perguntas, leitura=True, tau=0.9, q=0.8).

Como o Serigy chegou até aqui

Cada passo foi decidido por um teste; o relatório técnico (em breve) traz os números de cada um.

1. Três sinais de confiança (serigy-jev, até a 0.2.0). O ponto de partida foi o trabalho de Nandakishor M. (2025) sobre sinais de confiança lidos de um LLM antes da geração: similaridade semântica (C_sem), convergência entre as camadas e uma confiança aprendida, fundidos num escore único que classificava a notícia como verdadeira, falsa ou incerta.
2. Primeiras perguntas tipadas (serigy-golpes-br). No modelo de golpes, o escore único deu lugar a heads que recebem a pergunta como entrada, com as respostas tipadas Escolha, Indice e Verdadeiro.
3. A pergunta modula a leitura do texto (FiLM). Somada ao texto, a pergunta quase não pesava: o modelo acertava 0,95 no "é falsa?" e 0,05 no "é verdadeira?". Com FiLM, a pergunta escala cada traço do texto, e o modelo passou a responder às duas polaridades e a paráfrases que nunca viu.
4. confidence é a probabilidade da resposta. A temperatura, ajustada na validação, passou a fazer parte do modelo, e o índice de confiança herdado, que não era uma probabilidade, deu lugar ao max P.
5. Um comitê de dois leitores. Heads sobre o mesmo LLM erram juntas; heads sobre o Manacá-1B e o Tucano-1b1 concordam dentro do domínio e divergem fora dele. A discordância entre as dez heads virou a uncertainty.
6. Controle do tamanho do texto. O reconhecimento de domínio media, em boa parte, o tamanho do texto. O treino passou a incluir versões cortadas (8–40 palavras), e o C_sem voltou como segunda leitura de domínio, somado à discordância.
7. Opções abertas (v1.1, este modelo). O tema passou a aceitar chaves livres, descrições opcionais e uma opção de escape, escolhida em 83–100% dos casos em que o tema certo não está na lista.

O nome vem de Homo sapiens sapiens, "o que sabe que sabe": além de decidir, o Serigy aprende a reconhecer quando não sabe.

Treinamento

Resultados no teste do FakeBR (1.434 notícias):

Scorecard

Serigy × Jev (TypeSafe AI, API) × Laya (Convai), com as mesmas perguntas, textos e código de métricas, no teste do FakeBR e no FACTCK.BR (fora do domínio). Jev e Laya são zero-shot; o Serigy foi treinado no FakeBR, então parte da vantagem no domínio vem do treino. Fora do domínio, o Jev é mais bem calibrado.

O relatório técnico, com o método, os testes e as comparações completas, sai em breve.

Limites

• Treinado em um único domínio (notícias em português, 2016–2018). Fora dele, o modelo tem pouco sinal sobre a veracidade, e a uncertainty sobe, mas não o bastante para barrar tudo: cerca de metade das respostas ainda sai como pode_apostar. Não é um verificador de fatos para produção.
• Os dois LLMs ocupam ~9 GB de memória em fp32 (metade em bf16).
• Por segurança, a SDK só baixa modelos de uma allowlist (allow_custom_models=True para sair dela). Em serviços HTTP, fixe o modelo no servidor.

Versões

Licença e créditos

Pesos sob Apache-2.0. Os modelos congelados mantêm as próprias licenças: Manacá-1B (CC-BY-4.0), Tucano-1b1 (Apache-2.0) e MiniLM multilíngue (Apache-2.0). Dados de treino: FakeBR (Monteiro et al., 2018), citado conforme pedido dos autores, e FACTCK.BR (Moreno & Bressan, 2019, MIT).

Ao usar, cite:

@misc{barreto2026serigy,
  title        = {Serigy Sapiens: um modelo que decide e aprende a reconhecer quando n{\~a}o sabe},
  author       = {Barreto, Wendell Pereira},
  year         = {2026},
  month        = {10},
  howpublished = {\url{https://huggingface.co/wendellperbar/serigy-fake-news-br}},
  note         = {Modelo Serigy Sapiens v1.1, Hugging Face}
}