XERON-0.1 🎯

XERON-0.1 is a fine-tuned typed-decision (System 1) model built on convaiinnovations/laya's multilingual checkpoint (backbone: jhu-clsp/mmBERT-base, 322M params).

It answers typed questions over a state — choice / score / noul (boolean) — in a single forward pass, returning calibrated probabilities. It never generates text, so it cannot hallucinate and cannot emit malformed schemas.

Trained by PIXELZX as the first release of the XERON family (training plan & data pipeline: https://github.com/PIXELZX0/XERON).

✨ What makes XERON-0.1 different

📊 Head-to-head: Laya vs Jev vs XERON-0.1

A. 실측 비교 (동일 평가셋 · 동일 스크립트)

평가셋 LocalLLaMA/typed-decisions test split — 400 cases = 600 choice + 400 score + 400 noul (1,400 decisions). 동일한 scripts/evaluate.py / scripts/recompute_metrics.py, CPU 단일 프로세스, 2026-09-22. 원본: eval_comparison.md, eval_baseline_*.json.

• 미튜닝 Laya base(0.290) → XERON-0.1(0.700) = +41.0%p. 파인튜닝이 결정적 (Laya base는 태스크별 FT 전제라는 공개 설명과 일치).
• 벤더가 이 벤치마크에 직접 튜닝한 421M 영어 모델 대비 하드 라벨 -3.3%p, 그러나 soft accuracy +7.1%p / ECE −0.024 는 XERON 우위 → 확률(신뢰도) 품질이 더 좋음.

B. 스펙 · 공개 지표 비교

Laya/Jev 수치는 벤더·제3자 공개 자료에서 인용 (2026-09-22 조회). XERON 수치는 실측.

⚠️ A와 B는 다른 평가셋·다른 하드웨어입니다. A는 동일 조건 실측(모델 간 직접 비교 가능), B는 공개 자료 인용(참고용). Jev는 웨이트가 공개되지 않아 A에 넣을 수 없습니다.

C. JevBench v1.3 방식 평가 (공개 아이템 231/534)

JevBench v1.3.0(Benchmark Heaven) 하네스·어댑터·채점 코드를 그대로 사용해 측정했습니다. 공개 아이템은 534개 중 231개뿐(judge tier는 전부 비공개)이므로 공식 보드 순위와 직접 비교할 수 없습니다. 전체 방법·family별 분석·재현 코드: https://github.com/PIXELZX0/XERON/tree/main/results/jevbench-public

동일한 231개 공개 아이템에서 4개 시스템을 비교 (Jev/Laya는 공식 per-task 아티팩트의 공개 아이템 결과):

솔직한 결론

• XERON-0.1은 JevBench류 태스크(정책 문서 + 루브릭 선택)에서 벤더 Laya 튜닝판보다 약합니다. 학습 데이터(KLUE·브라우저·Mind2Web·SCOTUS)와 도메인이 겹치지 않기 때문입니다.
• 단, 동일 백본 미튜닝 base 대비 파인튜닝 효과는 검증됐습니다 (ECE hard 0.289 → 0.211, 확률 TVD 0.573 → 0.389).
• hard tier에서는 XERON이 벤더 튜닝판을 이깁니다 (0.306 vs 0.270) — adversarial / trap / judge_hard 계열.
• 부분 JevBench Score(judge tier 없음, 재정규화): laya-typed-decisions 37.5 · XERON-0.1 11.5 · laya-multilingual 8.8. Intelligence<50 패널티 (I/50)²가 XERON 점수를 크게 깎습니다.
• 다음 단계: JevBench 스타일 데이터(공개 231건 또는 HF Praveenrajus/jev-bench 166k rows)로 추가 파인튜닝 후 재평가.

읽는 법

• Jev = 제로샷 강자 (하드 난이도 74.1%).
• Laya / XERON = 오픈 웨이트, 파인튜닝 후 자기 도메인에서 강해지는 진영.
• XERON-0.1은 Laya multilingual과 같은 백본 + 한국어·브라우저·웹 에이전트·장문 데이터 추가 학습판.

🚀 사용법

pip install laya

import laya

agent = laya.load("PIXELZX/XERON-0.1")

state = "Customer email: 'I was charged twice, please refund immediately.' tier=premium, sla=4h"
questions = {
    "intent":  {"type": "choice", "options": ["billing", "technical", "cancellation", "other"]},
    "urgency": {"type": "score",  "levels": ["0 — no time pressure", "1 — routine", "2 — elevated", "3 — critical"]},
    "needs_refund": {"type": "noul"},
}

res = agent.predict(state, questions)
print(res["answers"])

Returned per question: selected key / expected level + full probability distribution + calibrated confidence.

📈 평가 재현

python scripts/evaluate.py \
  --model PIXELZX/XERON-0.1 \
  --dataset LocalLLaMA/typed-decisions --split test \
  --device cpu --output eval_results.json
python scripts/recompute_metrics.py eval_results.json   # score MAE / 타입별 정확도

eval_results.json (per-decision predictions 포함)이 이 저장소에 포함되어 있습니다.

⚠️ 한계

• 4,096 토큰 학습 — 초장문은 CTX_CAP 확장 후 재학습 필요.
• 평가는 영어 typed-decisions split 중심. 한국어/브라우저/웹 에이전트 트랙은 별도 벤치마크 미공개.
• score 타입은 순서형(ordinal) rubric 전용.

Citation

@misc{xeron01,
  title  = {XERON-0.1: a fine-tuned multilingual typed-decision model},
  author = {PIXELZX},
  year   = {2026},
  url    = {https://huggingface.co/PIXELZX/XERON-0.1}
}

Built on Laya by Convai Innovations (Apache-2.0) and jhu-clsp/mmBERT-base.