Wav2Vec 2.0 Base - Pré-treinado em Português (Podcasts TAGARELA)

O lgris/w2v_podcasts_base_400k_pt é um modelo acústico baseado na arquitetura Wav2Vec 2.0 Base, pré-treinado do zero (from scratch) em áudios de podcasts em português brasileiro utilizando aprendizado auto-supervisionado (self-supervised learning).

O pré-treinamento seguiu rigorosamente a receita e hiperparâmetros padrão do modelo Wav2Vec 2.0 Base original (pretreinado em inglês no LibriSpeech), totalizando 400.000 steps de atualização.

---

Detalhes do Modelo

• Nome do Modelo: lgris/w2v_podcasts_base_400k_pt
• Arquitetura Base: Wav2Vec 2.0 Base
  • Camadas do Encoder (Transformer): 12
  • Dimensão Oculta (Hidden Size): 768
  • Dimensão Intermediária (FFN): 3072
  • Atenção (Attention Heads): 12
  • Parâmetros: ~95M
• Objetivo de Treinamento: Contrastive Loss (InfoNCE) + Diversity Loss com quantização vetorial de representações latentes.
• Idioma: Português Brasileiro (pt-BR)
• Amostragem de Entrada: 16 kHz mono

---

Dataset de Pré-treinamento

• Dataset: freds0/TAGARELA
• Domínio: Podcasts em língua portuguesa (Brasil) cobrindo fala espontânea, conversacional, múltiplos locutores e diferentes condições acústicas naturais.

---

Configuração do Pré-treinamento

Configurações e hiperparâmetros idênticos ao padrão do fairseq (wav2vec2_base_librispeech):

• Steps de Treinamento: 400.000 updates
• Otimizador: Adam ($\beta_1 = 0.9, \beta_2 = 0.98, \epsilon = 10^{-6}$)
• Taxa de Aprendizado (Learning Rate): 5e-4
• Scheduler: Polynomial Decay com 32.000 warmup steps
• Weight Decay: 0.01
• Precisão: Mixed Precision (fp16)
• Tamanho de Amostra: Áudios amostrados a 16 kHz, mínimo de 32.000 amostras (2s) e máximo de 250.000 amostras (~15.6s)

---

Aplicações

Como este é um modelo puramente pré-treinado (sem cabeça de classificação/CTC acoplada), ele serve primariamente como base (backbone) para tarefas downstream, tais como:

1. Reconhecimento Automático de Fala (ASR / STT): Adicionar uma cabeça de projeção linear CTC ou decodificador autoregressivo/transducer e ajustar com transcrições supervisionadas.
2. Classificação e Identificação de Áudio: Identificação de locutor, emoção em fala, detecção de eventos acústicos.
3. Extração de Características (Embeddings): Utilização das representações ocultas de áudio para buscas e análises fonéticas.

---

Como Usar (Extração de Embeddings)

import torch
import librosa
from transformers import Wav2Vec2Model, Wav2Vec2FeatureExtractor

model_id = "lgris/w2v_podcasts_base_400k_pt"
feature_extractor = Wav2Vec2FeatureExtractor.from_pretrained(model_id)
model = Wav2Vec2Model.from_pretrained(model_id)

# Carregar áudio a 16 kHz mono
audio, sr = librosa.load("seu_audio.wav", sr=16000)

# Extrair features
inputs = feature_extractor(audio, sampling_rate=16000, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    # Extrair últimas representações ocultas do encoder
    last_hidden_states = outputs.last_hidden_state

print("Formato dos embeddings:", last_hidden_states.shape)

---

Fine-tuning para Reconhecimento de Fala (ASR)

Para realizar fine-tuning CTC neste modelo, carregue com Wav2Vec2ForCTC:

from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

model_id = "lgris/w2v_podcasts_base_400k_pt"
# Recomenda-se usar um processor/tokenizer com vocabulário configurado para português
model = Wav2Vec2ForCTC.from_pretrained(
    model_id,
    ctc_loss_reduction="mean",
    pad_token_id=0,
    vocab_size=51, # Ajustar conforme seu vocabulário
    ignore_mismatched_sizes=True
)

---

Citação

Caso utilize este modelo em suas pesquisas, por favor cite tanto o modelo quanto o dataset TAGARELA:

Modelo:

@misc{gris2026w2vpodcastspt,
  author = {Lucas Gris},
  title = {Wav2Vec 2.0 Base Pré-treinado em Podcasts (TAGARELA)},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/lgris/w2v_podcasts_base_400k_pt}}
}

Dataset TAGARELA:

@INPROCEEDINGS{11462137,
  author={De Oliveira, Frederico Santos and Gris, Lucas Rafael Stefanel and Ferreira, Alef Iury Siqueira and Da Rosa, Augusto Seben and Filho, Alexandre Costa Ferro and Casanova, Edresson and Shulby, Christopher Dane and Sousa, Rafael Teixeira and Silva, Diogo Fernandes Costa and Da Silva Soares, Anderson and Filho, Arlindo Rodrigues Galvão},
  booktitle={ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 
  title={TAGARELA - A Portuguese Speech Dataset from Podcasts}, 
  year={2026},
  volume={},
  number={},
  pages={15517-15521},
  keywords={Low earth orbit satellites;Digital audio broadcasting;Broadcasting;Filtering;Filters;Circuits and systems;Digital audio broadcasting;Internet of Things;Avatars;Communication systems;speech processing;text-to-speech;dataset;automatic-speech-recognition},
  doi={10.1109/ICASSP55912.2026.11462137}}