BitNet TinyDialogues 1.58b

Modelo experimental BitNet b1.58-style treinado do zero em CPU com styfeng/TinyDialogues.

O que é

• Transformer causal pequeno com BitLinear: pesos ternários {-1, 0, +1} no forward (1,58 bit/peso).
• Ativações quantizadas em 8 bits por token durante o treino (W1.58A8).
• FFN com ReLU², RoPE, RMSNorm/subLN, embeddings tied.
• GGUF: TQ1_0 e TQ2_0 (ternários). O arquivo também contém embeddings/normas em maior precisão.

“1-bit BitNet” aqui significa a família BitNet b1.58 ternária, não 1 bit matemático por peso.

Arquitetura

Arquivos

• gguf/bitnet-tinydialogues-TQ1_0.gguf — principal, menor (~1,1 MiB).
• gguf/bitnet-tinydialogues-TQ2_0.gguf — alternativa ternária (~1,2 MiB).
• gguf/bitnet-tinydialogues-f32.gguf — referência F32 (~11 MiB).
• model.safetensors, config.json, tokenizer.model, tokenizer.json — checkpoint HF.
• scripts/ — preparação, treino, exportação e demo.
• patches/llama.cpp-bitnet-fixes.patch — patch ReLU² + mapeamento de tensores.
• Dockerfile — Space Docker/Gradio para CPU (requer PRO ou hardware pago).

Uso rápido com llama.cpp

O runtime precisa usar ReLU² no FFN do BitNet. O llama.cpp upstream ainda pode usar SiLU hardcoded; aplique patches/llama.cpp-bitnet-fixes.patch ou use o Dockerfile.

llama-cli -m gguf/bitnet-tinydialogues-TQ1_0.gguf \
  -p "user: can we play? assistant:" -n 64 --temp 0.7 -t 2 -r "user:"

Exemplo real (TQ1_0, greedy):

user: can we play? assistant: yes, but we need to clean up. we need to clean up.

HF demo (ternário)

python scripts/demo_hf.py --model . --prompt "user: can we play? assistant:" --tokens 40

Limitações

Modelo muito pequeno, treinado apenas em diálogos infantis em inglês. Serve para demonstrar BitNet/GGUF/CPU; não é um assistente geral nem tem conhecimento confiável.

Licença

MIT. Dataset TinyDialogues: MIT.