DDSD em português brasileiro: BERTimbau sem correção (modelo de controle)

Modelo de controle, não é para uso. Foi treinado no corpus sem a correção do viés de comprimento, em que o tamanho da frase revela a classe (AUC de 0,86), para medir no TCC o efeito da correção. Para usar, prefira phelipescript/ddsd-ptbr-bertimbau.

English summary. Control model, not for use. Same recipe as phelipescript/ddsd-ptbr-bertimbau, but trained on the uncorrected corpus (sem_correcao), where sentence length alone predicts the label (AUC 0.86). Published only to reproduce the thesis comparison: on the corrected test set it reaches 92.2% accuracy (corrected model: 98.3%), and it has 27.2% false activations on real conversation transcripts (corrected model: 6.3%). Its decision threshold is 0.07.

Mesma receita de phelipescript/ddsd-ptbr-bertimbau, mudando só o corpus de treino: a configuração sem_correcao de phelipescript/ddsd-ptbr-corpus, só com as frases do corpus inicial e com balanceamento 1:1 no total, e não por faixa de tamanho. As classes são as mesmas: DD (fala dirigida ao computador) e NDD (qualquer outra fala).

Como usar

Exemplo executado com Python 3.13, transformers 5.20.1 e torch 2.14.1:

import unicodedata

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer


def normalizar(texto: str) -> str:
    """Normalização do treino: sem acento, minúsculas, pontuação e símbolos viram espaço."""
    texto = "".join(c for c in unicodedata.normalize("NFKD", texto) if unicodedata.category(c) != "Mn")
    texto = "".join(" " if unicodedata.category(c)[0] in "PS" else c for c in texto.lower())
    return " ".join(texto.split())


repo = "phelipescript/ddsd-ptbr-bertimbau-sem-correcao"
tokenizer = AutoTokenizer.from_pretrained(repo)
modelo = AutoModelForSequenceClassification.from_pretrained(repo).eval()
limiar = modelo.config.decision_threshold  # escolhido na validação; não use 0,5

frases = [
    "Abre o navegador e procura a previsão do tempo, por favor.",
    "Me lembra de ligar pro dentista amanhã às dez.",
    "Você viu o jogo de ontem?",
    "Travou de novo, que saco.",
]
for frase in frases:
    entrada = tokenizer(normalizar(frase), truncation=True, max_length=128, return_tensors="pt")
    with torch.inference_mode():
        p_dd = torch.softmax(modelo(**entrada).logits, dim=-1)[0, 1].item()
    print(f"{p_dd:.3f}  {'DD ' if p_dd >= limiar else 'NDD'}  {frase}")

Saída:

1.000  DD   Abre o navegador e procura a previsão do tempo, por favor.
0.999  DD   Me lembra de ligar pro dentista amanhã às dez.
0.000  NDD  Você viu o jogo de ontem?
0.990  DD   Travou de novo, que saco.

Dois cuidados, porque o modelo foi treinado e avaliado assim:

1. Normalize o texto com a função normalizar do exemplo: sem acento, em minúsculas e com pontuação e símbolos trocados por espaço.
2. Decida pelo limiar config.decision_threshold (0,07), escolhido na validação. O pipeline("text-classification") do transformers decide por argmax, o que equivale a um limiar de 0,5.

Treino

Os valores por época e as métricas completas estão em treinamento.json.

Resultados

Teste com correção, sem o atalho do tamanho

11.616 frases do teste com_correcao, em que o tamanho da frase não indica a classe. Nenhuma delas está no treino deste modelo: os 9.527 textos em comum saíram do corpus sem correção antes do balanceamento.

No teste do próprio corpus sem correção (11.630 frases, com o atalho do tamanho), a acurácia é de 98,87%: parte do acerto vem do atalho.

Transcrições de conversas reais

Frases das transcrições do CORAA, do NURC-SP e do TAGARELA. São todas conversa entre pessoas (NDD), então toda ativação é falsa. Falsas ativações:

Por tamanho da frase:

Sistema completo

Áudio → detector de voz → Whisper large-v3-turbo → classificador, no sistema em tempo real do TCC. O áudio gravado toca no ritmo normal no buffer do microfone; dali em diante, é o sistema real.

• Voz real: uma única voz. As mesmas 20 frases DD e 20 NDD do teste, lidas em 4 cenários (sala quieta, ruído de fundo, iPhone e ~2 m), mais as 24 falas de um roteiro de conversa (NDD).
• Voz sintética: 740 frases do teste em 3 vozes neurais pt-BR do edge-tts.
• Áudio dos corpora públicos: 600 trechos de conversa espontânea (300 do CORAA e 300 do NURC-SP), todos NDD.
• Este modelo não rodou ao vivo: ele julgou as transcrições do Whisper da execução do BERTimbau, com o mesmo áudio.

Limitações

• O atalho do tamanho: no corpus deste modelo, o tamanho da frase indica a classe. Ele ativa demais em frases curtas e quase nunca em frases longas.
• Corpus 100% sintético: as frases foram geradas por LLMs e têm o estilo deles, diferente da fala espontânea transcrita.
• Limiar: escolhido na validação sintética, ele se transfere de forma imperfeita para a fala real.
• Voz real: uma única voz, com frases lidas; a avaliação não tem pedidos espontâneos.
• Só texto: a decisão depende da transcrição, e erros do reconhecimento de fala mudam a decisão.
• Sem contexto: cada fala é julgada sozinha, sem o histórico da conversa.

Modelos e dados relacionados

Licença

MIT, a mesma do modelo base.

Citação

@misc{souza2026ddsd,
  author       = {Phelipe Pereira de Souza},
  title        = {Detecção de Fala Direcionada ao Computador Pessoal em Português Brasileiro: Uma Abordagem Textual para Assistentes de Voz sem Palavra de Ativação},
  year         = {2026},
  note         = {Trabalho de Conclusão de Curso, Bacharelado em Ciência da Computação, SENAC Santo Amaro},
  howpublished = {\url{https://huggingface.co/phelipescript/ddsd-ptbr-bertimbau-sem-correcao}}
}