yejin-korean-1b-v8 🚀
yejin-korean-1b-v8는 한국어 172GB+ 대규모 고품질 코퍼스(Culturax, 위키백과 2024, 교과서 6종 등)로 100% 바닥부터 사전학습(Pre-trained from Scratch, 25,000 Steps)된 한국어 1B 베이스 파운데이션 모델입니다.
📊 모델 아키텍처 사양
- 기반 규격: Llama 3 참조 아키텍처 (
hidden=2048,layers=18,heads=16,kv_heads=4,intermediate=5632,GQA 4:1) - 파라미터 수: 0.93B (932M)
- 토크나이저:
EleutherAI/polyglot-ko-1.3b(어휘 크기: 30,003) - 컨텍스트 길이: 4,096 토큰
- 포맷:
safetensors