Wav2Vec2 Podcasts Base - Fine-tuned no TAGARELA Combinado (v1 + v2, 100% Streaming)

Este modelo é uma versão fine-tuned do lgris/w2v_podcasts_base_400k_pt treinado na combinação dos datasets TAGARELA v1 e TAGARELA v2 em streaming.

O treinamento utilizou batches balanceados 50/50 entre amostras do v1 e amostras do v2.

---

Descrição do Modelo

• Modelo Base: lgris/w2v_podcasts_base_400k_pt (Wav2Vec2 Base pré-treinado em podcasts brasileiros)
• Datasets de Treino:
  • TAGARELA v1: 1.764 shards (coluna sentence; apenas o split de teste possui revisão humana)
  • TAGARELA v2: 2.224 shards com transcrições de podcasts (coluna stt_parakeet)
• Idioma: Português Brasileiro (pt-BR)
• Amostragem de Áudio: 16 kHz mono
• Vocabulário: 51 tokens

---

Resultados de Avaliação (Benchmarks)

Comparativo Completo:

---

Como Usar

1. Pipeline do Hugging Face

import torch
from transformers import pipeline

transcriber = pipeline(
    "automatic-speech-recognition",
    model="lgris/wav2vec2-podcasts-tagarela-combined",
    device=0 if torch.cuda.is_available() else -1
)

result = transcriber("audio.wav")
print("Transcrição:", result["text"])

2. Wav2Vec2ForCTC direto

import torch
import librosa
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

model_id = "lgris/wav2vec2-podcasts-tagarela-combined"
processor = Wav2Vec2Processor.from_pretrained(model_id)
model = Wav2Vec2ForCTC.from_pretrained(model_id)

speech_array, _ = librosa.load("audio.wav", sr=16000)
inputs = processor(speech_array, sampling_rate=16000, return_tensors="pt", padding=True)

with torch.no_grad():
    logits = model(inputs.input_values).logits

predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)[0]
print("Transcrição:", transcription)

---

Hiperparâmetros de Treinamento

• Max Steps: 100.000
• Batch Size Efetivo: 128 (16 por device $\times$ 8 gradient accumulation steps)
• Amostragem por Batch: 50% TAGARELA v1 + 50% TAGARELA v2 por batch para estabilidade de gradientes
• Learning Rate: 3e-5 com warm-up linear de 5.000 steps
• Precisão: bfloat16 (bf16=True)
• Feature Encoder: Congelado