Yejin Korean 8B v3 DPO v4 (Phase 4 Alignment)
Yejin Korean 8B v3 DPO v4는 독자 아키텍처 8B(7.24B parameters) 베이스 모델 위에 104만 건의 SFT v4 학습을 완료한 후, 36.6만 건의 선호 정렬 데이터셋(AI Hub 사용자 선호 + Ko-UltraFeedback + Orca DPO + Orca Math DPO)을 활용하여 Full FSDP DPO 정렬을 수행한 최종 정렬 모델입니다.
학습 성과 및 메트릭
- Base SFT:
cooler8/yejin-korean-8b-v3-sft-v4 - 정렬 데이터: 366,049 쌍 (AI Hub 선호데이터 10만 + Ko-UltraFeedback + Orca Ko + Orca Math Ko)
- 학습 환경: KT Cloud AI Nexus NVIDIA H200 (143GB) x 8대 (FSDP Full Sharding)
- Final DPO Loss: 0.2307
- Reward Accuracy: 92.02%
- Reward Margin: 5.678
- Mean Token Accuracy: 72.75%
- 총 학습 시간: 10시간 2분 (2,853 Steps, 1 Epoch)
Generation Config
- Greedy Decoding 기본 권장 (
do_sample=False,repetition_penalty=1.05) - Stop tokens:
<|end|>,</s>(Token ID 7, 2)