DDSD em português brasileiro: BERTimbau

English summary. Brazilian Portuguese text classifier for device-directed speech detection (DDSD): given the transcript of an utterance, it predicts whether it was addressed to the computer (DD) or not (NDD), for voice assistants without a wake word. BERTimbau (neuralmind/bert-base-portuguese-cased) fine-tuned on a synthetic corpus whose sentence-length bias was corrected. Normalize the input as in training (no accents, lowercase, punctuation and symbols replaced by spaces) and decide with the threshold stored in config.json (decision_threshold = 0.685), not with argmax. Internal test accuracy: 98.32%; false activations on real conversation transcripts: 6.3%. Part of a bachelor's thesis (SENAC Santo Amaro, 2026).

Classificador de texto que decide se uma fala, já transcrita, foi dirigida ao computador (DD) ou não (NDD), para assistentes de voz sem palavra de ativação. É o BERTimbau com fine-tuning no corpus sintético phelipescript/ddsd-ptbr-corpus, na configuração com_correcao, que corrige o viés de comprimento. Faz parte do TCC Detecção de Fala Direcionada ao Computador Pessoal em Português Brasileiro: Uma Abordagem Textual para Assistentes de Voz sem Palavra de Ativação (Bacharelado em Ciência da Computação, SENAC Santo Amaro, 2026).

• DD: pedido ao computador, como “abre o navegador e procura a previsão do tempo”.
• NDD: qualquer outra fala: conversa com outra pessoa, comentário, pensar alto.

No sistema em tempo real do TCC (microfone → detector de voz → Whisper large-v3-turbo → classificador → decisão), é o classificador padrão.

Como usar

Exemplo executado com Python 3.13, transformers 5.20.1 e torch 2.14.1:

import unicodedata

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer


def normalizar(texto: str) -> str:
    """Normalização do treino: sem acento, minúsculas, pontuação e símbolos viram espaço."""
    texto = "".join(c for c in unicodedata.normalize("NFKD", texto) if unicodedata.category(c) != "Mn")
    texto = "".join(" " if unicodedata.category(c)[0] in "PS" else c for c in texto.lower())
    return " ".join(texto.split())


repo = "phelipescript/ddsd-ptbr-bertimbau"
tokenizer = AutoTokenizer.from_pretrained(repo)
modelo = AutoModelForSequenceClassification.from_pretrained(repo).eval()
limiar = modelo.config.decision_threshold  # escolhido na validação; não use 0,5

frases = [
    "Abre o navegador e procura a previsão do tempo, por favor.",
    "Me lembra de ligar pro dentista amanhã às dez.",
    "Você viu o jogo de ontem?",
    "Travou de novo, que saco.",
]
for frase in frases:
    entrada = tokenizer(normalizar(frase), truncation=True, max_length=128, return_tensors="pt")
    with torch.inference_mode():
        p_dd = torch.softmax(modelo(**entrada).logits, dim=-1)[0, 1].item()
    print(f"{p_dd:.3f}  {'DD ' if p_dd >= limiar else 'NDD'}  {frase}")

Saída:

1.000  DD   Abre o navegador e procura a previsão do tempo, por favor.
0.998  DD   Me lembra de ligar pro dentista amanhã às dez.
0.000  NDD  Você viu o jogo de ontem?
0.000  NDD  Travou de novo, que saco.

Dois cuidados, porque o modelo foi treinado e avaliado assim:

1. Normalize o texto com a função normalizar do exemplo: sem acento, em minúsculas e com pontuação e símbolos trocados por espaço.
2. Decida pelo limiar config.decision_threshold (0,685), escolhido na validação. O pipeline("text-classification") do transformers decide por argmax, o que equivale a um limiar de 0,5.

Treino

Os valores por época e as métricas completas estão em treinamento.json.

Resultados

Teste interno

11.616 frases sintéticas do teste com_correcao (metade DD e metade NDD), avaliadas uma única vez, com o limiar congelado.

Transcrições de conversas reais

Frases das transcrições do CORAA, do NURC-SP e do TAGARELA. São todas conversa entre pessoas (NDD), então toda ativação é falsa. Falsas ativações:

Das 3 sementes, esta é a de mais falsas ativações nessas transcrições: 6,3%, contra 5,0% (semente 42) e 5,7% (semente 43).

Por tamanho da frase:

Nas frases de 11 palavras ou mais, este modelo ativa mais que a versão sem correção. No corpus sem correção, frase longa era quase sempre NDD, e o modelo treinado nele aprendeu isso. O treino com correção não tem frases de 25 palavras ou mais.

Sistema completo

Áudio → detector de voz → Whisper large-v3-turbo → classificador, no sistema em tempo real do TCC. O áudio gravado toca no ritmo normal no buffer do microfone; dali em diante, é o sistema real.

• Voz real: uma única voz. As mesmas 20 frases DD e 20 NDD do teste, lidas em 4 cenários (sala quieta, ruído de fundo, iPhone e ~2 m), mais as 24 falas de um roteiro de conversa (NDD).
• Voz sintética: 740 frases do teste em 3 vozes neurais pt-BR do edge-tts.
• Áudio dos corpora públicos: 600 trechos de conversa espontânea (300 do CORAA e 300 do NURC-SP), todos NDD.

Sessão ao vivo

9,5 min ao microfone, seguindo um roteiro, com uma única voz: 36 de 41 pedidos atendidos e 4 de 45 falsas ativações. Dos 5 pedidos perdidos, 4 são erros de transcrição do Whisper e 1 é erro do classificador.

Limitações

• Corpus 100% sintético: as frases foram geradas por LLMs e têm o estilo deles, diferente da fala espontânea transcrita.
• Limiar: escolhido na validação sintética, ele se transfere de forma imperfeita para a fala real.
• Voz real: uma única voz, com frases lidas; a avaliação não tem pedidos espontâneos.
• Só texto: a decisão depende da transcrição, e erros do reconhecimento de fala mudam a decisão.
• Sem contexto: cada fala é julgada sozinha, sem o histórico da conversa.

Modelos e dados relacionados

Licença

MIT, a mesma do modelo base.

Citação

@misc{souza2026ddsd,
  author       = {Phelipe Pereira de Souza},
  title        = {Detecção de Fala Direcionada ao Computador Pessoal em Português Brasileiro: Uma Abordagem Textual para Assistentes de Voz sem Palavra de Ativação},
  year         = {2026},
  note         = {Trabalho de Conclusão de Curso, Bacharelado em Ciência da Computação, SENAC Santo Amaro},
  howpublished = {\url{https://huggingface.co/phelipescript/ddsd-ptbr-bertimbau}}
}