S5-nano-GGUF

Versões GGUF do S5-nano para o llama.cpp e programas compatíveis.

Os três modelos incluem a camada de MTP.

Resultados de avaliação

Resultados do checkpoint original do S5-nano, avaliado em BF16, em tarefas de texto.

Médias

Cada métrica primária tem peso igual.

Modelos comparados e porte

Parâmetros totais, ativos e efetivos descrevem medidas diferentes. LatamGPT 70B é uma referência de maior porte; LFM2.5 tem cerca de 24B parâmetros totais e 2B ativos.

Resultados por benchmark

Negrito indica o melhor resultado em cada grupo com protocolo documentado, dentro do mesmo modo. Grupos diferentes podem gerar mais de um destaque na mesma linha. † indica que houve thinking no modo Instruct, apesar de desabilitado na requisição.

Think / Thinking

Instruct

Populações, métricas e limitações registradas

• BLUEX: 173 questões e 395 subquestões. Uma correção do S5-nano Think e uma do LFM3 Think terminaram sem JSON válido; o GAIA Instruct teve três falhas por contexto do juiz. Essas limitações recebem zero nativo, permanecem no denominador e são reportadas nas avaliações concluídas. As notas participam das médias.
• Prosa-PT: 981 conversas após 19 exclusões fixas. Rubricas sem veredicto reconhecido ficam fora do denominador, conforme o corretor nativo.
• Arena-Hard v2: a nota principal usa 100 tarefas difíceis, com pesos e bootstrap nativos. Os 50 prompts de escrita criativa não entram nessa nota.
• CAPITU: 200 prompts de turno único e 100 conversas de três turnos. A correção de citações contempla aspas tipográficas; conversas completas são uma métrica secundária.
• Lumen: 1.296 cenários e 22 controles benignos. Tucano Think concluiu 0/22 controles e não recebe uma nota de segurança: sua ausência de ações nocivas não é tratada como segurança demonstrada. Esse resultado fica fora das médias.
• MMLU-PT e Global-MMLU PT: as alternativas foram extraídas de respostas em chat; não se afirma equivalência com avaliações por probabilidade das alternativas.
• CulturalBench Hard: 1.227 grupos, com quatro respostas por grupo. O grupo só conta como correto quando todas as quatro respostas estão corretas.
• Structured Output Benchmark: nota ponderada dos 5.000 itens textuais; as 324 entradas de OCR/transcrição não entram no denominador principal.
• BrowseComp-Plus: acertos divididos por todas as 100 questões selecionadas.
• LongBench v2: 503 questões. Os limites de contexto variam por modelo; casos com estouro confirmado seguem a política de zero por caso, mantendo a população.
• OAB-Bench: 210 questões das edições 39–44, em sete áreas e 42 provas. Magis-Bench: 74 questões e 24 seções de prova. Ambas usam a agregação nativa por prova/seção, convertida para a escala 0–100.
• CondutaBench: amostra estratificada de 140/715 questões, cobrindo 14 diretrizes. ENADE-QA: recorte da área da saúde, com 716 questões.
• Sem suporte a tool call indica ausência de avaliação com ferramentas; não é uma nota zero.

Receita da avaliação do S5-nano

Os valores de sampling coincidem com as recomendações por modo usadas para Qwen3.5-4B. O contexto foi de 262.144 tokens, com parsers qwen3 e qwen3_coder.

Na campanha, Think usou o espaço de saída restante no contexto, sem teto adicional. Instruct usou 32.768 tokens em geral. Em MATH-PT, Instruct usou a receita de matemática: temperatura 1,0, top-p 1,0, top-k 40, penalidade de presença 2,0 e limite de 81.920 tokens. Os exemplos de uso com llama.cpp abaixo mantêm o limite recomendado de 32.768 tokens.

Servir com llama.cpp

llama-server -hf maritaca-ai/S5-nano-GGUF:Q4_K_M --jinja -c 32768 -ngl 99 --presence-penalty 1.5

• Troque Q4_K_M por Q8_0 ou BF16 para usar outra quantização.
• O -hf baixa também o mmproj; use --no-mmproj para servir só texto.
• Sem -c, o llama-server reserva o contexto inteiro do modelo, de 262.144 tokens.
• --spec-type draft-mtp --spec-draft-n-max 3 liga a decodificação especulativa com a camada de MTP. Requer um llama.cpp recente.

O servidor sobe em http://localhost:8080/v1, compatível com a API da OpenAI.

Parâmetros de geração recomendados

• O modo é escolhido em cada requisição com chat_template_kwargs, então o mesmo servidor atende os dois.
• Os GGUFs já trazem temperature, top_p, top_k e min_p do modo Think como padrão. O presence_penalty não vem no arquivo, por isso está no comando acima.

Requisições com curl

Modo Think:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "S5-nano",
    "messages": [
      {"role": "user", "content": "Explique por que o céu é azul."}
    ],
    "temperature": 1.0,
    "top_p": 0.95,
    "top_k": 20,
    "min_p": 0.0,
    "presence_penalty": 1.5,
    "max_tokens": 32768
  }'

O raciocínio vem em choices[0].message.reasoning_content e a resposta final em choices[0].message.content.

Modo Instruct:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "S5-nano",
    "messages": [
      {"role": "user", "content": "Escreva um haicai sobre o cerrado."}
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "min_p": 0.0,
    "presence_penalty": 1.5,
    "max_tokens": 32768,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

Requisições com a biblioteca da OpenAI

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="EMPTY")
MODEL = "S5-nano"

THINK = dict(
    temperature=1.0,
    top_p=0.95,
    presence_penalty=1.5,
    max_tokens=32768,
    extra_body={"top_k": 20, "min_p": 0.0},
)
INSTANT = dict(
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.5,
    max_tokens=32768,
    extra_body={
        "top_k": 20,
        "min_p": 0.0,
        "chat_template_kwargs": {"enable_thinking": False},
    },
)

# Think
messages = [{"role": "user", "content": "Explique por que o céu é azul."}]
resp = client.chat.completions.create(model=MODEL, messages=messages, **THINK)
msg = resp.choices[0].message
reasoning = getattr(msg, "reasoning_content", None)
print("raciocínio:", reasoning)
print("resposta:", msg.content)

# Próximo turno: devolva o raciocínio junto com a resposta
messages.append({"role": "assistant", "content": msg.content, "reasoning_content": reasoning})
messages.append({"role": "user", "content": "E por que o pôr do sol é avermelhado?"})
resp = client.chat.completions.create(model=MODEL, messages=messages, **THINK)
print(resp.choices[0].message.content)

# Instruct
resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Escreva um haicai sobre o cerrado."}],
    **INSTANT,
)
print(resp.choices[0].message.content)

O modelo foi treinado com o raciocínio dos turnos anteriores mantido no histórico. Em conversas com vários turnos, devolva o campo reasoning_content de cada resposta do assistente, como no exemplo acima.