Mangaba-Base-91M
Um modelo de linguagem de 91 milhões de parâmetros treinado do zero em português do Brasil pela Mangaba AI.
Pesos e tokenizer próprios: o treino começou de pesos aleatórios, sem modelo base de terceiros. Ele foi treinado em uma NVIDIA L40S da Mangaba, em datacenter no Brasil, e serve de professor para a destilação do Mangaba-Nano-1M.
📄 Relatório técnico: https://huggingface.co/spaces/mangaba-ai/mangaba-base-91m-artigo
Resultados
Mesma suíte do Mangaba-Nano (bench.py), rodada em CPU com float32.
| Modelo | Parâmetros | Tokens de treino | BPB GigaVerbo ↓ | BPB Wikipédia PT ↓ | CALAME-PT ↑ | Story Cloze PT ↑ |
|---|---|---|---|---|---|---|
| Mangaba-Base-91M | 91M | 2,5B | 0,886 | 1,091 | 45,7% | 57,8% |
| Tucano-160m | 162M | — | 0,929 | 0,955 | 45,6% | 61,7% |
| Mangaba-Nano-1M | 1,41M | 2,85B | 1,282 | 1,593 | 17,1% | 56,2% |
- BPB (bits por byte) independe do tokenizer. GigaVerbo é a validação separada do corpus de treino; Wikipédia PT são 400 artigos fora desse domínio.
- O Mangaba-Base-91M supera o Tucano-160m (1,8× maior) no domínio de treino e empata no CALAME-PT. Na Wikipédia e no Story Cloze fica atrás: viu só 2,5B tokens, e de menos fontes.
Arquitetura
Decoder no desenho padrão atual (o mesmo de Qwen3 e Llama), carregado com Qwen3ForCausalLM do Transformers. A classe é só a implementação desse desenho: nenhum peso da Qwen foi usado (por isso o config.json mostra model_type: qwen3).
| Camadas | 14 |
| Dimensão oculta | 768 |
| FFN (SwiGLU) | 2.048 |
| Atenção | 12 cabeças de query, 4 de key/value (GQA), head_dim 64, QK-norm |
| Posição | RoPE (θ = 10.000), contexto de 512 tokens |
| Normalização | RMSNorm pré-camada |
| Embeddings | amarrados entre entrada e saída |
| Vocabulário | 4.096 tokens (BPE byte-level treinado do zero; o mesmo do Mangaba-Nano) |
| Parâmetros | 91.250.176 (3.145.728 de embedding) |
Treino
- Otimizador: Muon (Newton-Schulz, momentum de Nesterov) com LR 0,02 nas matrizes internas, e AdamW com LR 0,006 em embeddings e normas.
- Agenda: Warmup-Stable-Decay com resfriamento 1−√t nos últimos 25%. O número de passos foi ajustado à janela de GPU disponível.
- Lote e duração: 262.144 tokens por passo, 9.621 passos, 2,52 bilhões de tokens.
- Hardware: 4h52 em uma L40S (~145 mil tokens/s), bf16 com
torch.compile. - Dados: GigaVerbo-v2
edu_highe GigaVerbo-v2-synth, com amostragem proporcional ao tamanho de cada arquivo (~24% sintético). A validação é separada e nunca entrou no treino. - Código:
train2.pyneste repositório.
Uso
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("mangaba-ai/Mangaba-Base-91M")
model = AutoModelForCausalLM.from_pretrained("mangaba-ai/Mangaba-Base-91M")
ids = tok("A fotossíntese é o processo", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=60, do_sample=True, temperature=0.7, top_p=0.9, repetition_penalty=1.15)
print(tok.decode(out[0], skip_special_tokens=True))
Também há arquivos GGUF (F16 e Q8_0) para o llama.cpp.
Exemplos (amostragem, temperatura 0,7)
A fotossíntese é o processo pelo qual a planta realiza sua respiração, através da luz que recebe do sol.
Esse processo acontece na presença de elementos químicos como enxofre e nitrogênio.
Para fazer um bolo de cenoura, você pode usar pedaços pequenos e então cozinhe-os em água quente.
Isso ajudará a evitar que eles se tornem grumosos demais para serem ingeridos.
O texto é fluente e mantém o tema, mas os fatos não são confiáveis: o primeiro exemplo erra a química da fotossíntese.
Limitações
- É um modelo base: sem ajuste de instrução nem alinhamento. Não use para responder perguntas factuais.
- Contexto máximo de 512 tokens, com vocabulário pequeno (4.096 tokens, ≈3,5 caracteres por token).
- Herda os vieses do texto da web em português.
Licença
Pesos, tokenizer e código sob Apache-2.0. Os dados seguem as licenças das fontes listadas nos cartões do GigaVerbo-v2.
Feito pela Mangaba AI.