yejin-korean-tokenizer-200k
200,000 단어 규모의 한국어 특화 Byte-Level BPE 토크나이저.
17GB 규모의 한국어 코퍼스(위키백과, 교과서, 뉴스, 문학, 전문지식 등)로 처음부터 직접 학습하여 제작하였으며, 한국어 텍스트의 압축 효율을 극대화하였다.
사양
| 항목 | 값 |
|---|---|
| 어휘 크기 (Vocab Size) | 200,000 |
| 알고리즘 | Byte-Level BPE |
| 학습 코퍼스 | 한국어 통합 코퍼스 (16.2 GB) |
| 최소 빈도 (min_frequency) | 2 |
| 최대 시퀀스 길이 | 8,192 |
| 특수 토큰 | <s> (BOS), </s> (EOS), <unk> (UNK), <pad> (PAD) |
| 학습 소요 시간 | 0.43 시간 (CPU) |
학습 코퍼스 구성
- CulturaX 한국어 (60GB 웹 정제 코퍼스)
- 한국어 위키백과 2024
- 한국어 교과서 6종 (claude_evol, tiny, instructions, wikidata, mmlu_all, code_alpaca)
- KoAlpaca 지시문
- 기타 한국어 텍스트
사용법
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("cooler8/yejin-korean-tokenizer-200k")
text = "인공지능과 거대언어모델의 미래는 우리의 미래이다."
tokens = tokenizer.encode(text)
print(f"토큰 수: {len(tokens)}")
print(f"토큰: {tokenizer.convert_ids_to_tokens(tokens)}")
decoded = tokenizer.decode(tokens)
print(f"복원: {decoded}")
다른 yejin 토크나이저와의 비교
| 토크나이저 | 어휘 크기 | 용도 |
|---|---|---|
| yejin-korean-tokenizer-64k | 64,000 | 3B 모델 학습에 사용 |
| yejin-korean-tokenizer-200k (본 모델) | 200,000 | 8B 이상 대형 모델 권장 |
주요 참고 사항
- 어휘 크기 200K는 Llama 3 (128K), Qwen 2.5 (152K)보다 크며, 한국어 텍스트의 토큰 압축률이 높아 학습 및 추론 효율이 우수하다.
- Embedding 레이어 파라미터가 커지므로 8B 이상 모델에서 사용을 권장한다. 3B 이하 모델에서는 64K 토크나이저가 더 효율적이다.
- Apache 2.0 라이선스로 상업적 사용이 자유롭다.
라이선스
Apache License 2.0