yejin-korean-tokenizer-64k
한국어에 최적화된 64K Byte-Level BPE 토크나이저입니다.
특징
- Vocab 크기: 64,000 토큰
- 알고리즘: Byte-Level BPE (Llama/GPT 스타일)
- 유니코드 정규화: NFC (한국어 자모 결합 보장)
- 특수 토큰: BOS, EOS, PAD, UNK + 채팅 토큰 (system/user/assistant)
- 학습 소요: 23.6분 (CPU)
- 학습 데이터: 총 5,958,043개 텍스트
polyglot-ko (30K) 대비 개선
기존 polyglot-ko 토크나이저(30K vocab) 대비 한국어 토큰 효율이 크게 개선되었습니다. Vocab 크기가 2배 이상이므로 같은 문장을 더 적은 토큰으로 표현할 수 있어, 동일한 컨텍스트 길이에서 더 많은 정보를 처리할 수 있습니다.
사용법
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("cooler8/yejin-korean-tokenizer-64k")
text = "인공지능과 거대언어모델의 미래는 밝습니다."
tokens = tokenizer.encode(text)
print(f"토큰 수: {len(tokens)}")
print(f"토큰: {tokenizer.convert_ids_to_tokens(tokens)}")
학습 데이터
총 5,958,043개 텍스트로 학습되었습니다.
AIHub 데이터 (정부 공공 데이터)
| 카테고리 | 텍스트 수 |
|---|---|
| 01_논문_학술 | 500,042 |
| 02_도서_말뭉치 | 500,003 |
| 03_전문분야 | 509,076 |
| 04_웹_뉴스 | 501,738 |
| 05_법률_행정 | 500,000 |
| 06_의료_건강 | 500,000 |
| 07_교육_지식 | 214,238 |
오픈소스 한국어 데이터
| 소스 | 텍스트 수 |
|---|---|
| cosmopedia_stories_science | 200,000 |
| culturax_korean | 200,000 |
| ko_alpaca_instructions | 21,149 |
| ko_alpaca_v1.1a | 21,149 |
| ko_orca | 34,163 |
| korean_textbooks_claude_evol | 200,000 |
| korean_textbooks_code_alpaca | 64,006 |
| korean_textbooks_instructions | 200,000 |
| korean_textbooks_mmlu_all | 97,697 |
| korean_textbooks_tiny | 200,000 |
| korean_textbooks_wikidata | 127,470 |
| korean_webtext | 200,000 |
| magpie_reasoning_150k | 148,703 |
| math_instruct | 200,000 |
| mc4_korean | 200,000 |
| namuwiki | 200,000 |
| open_ko_instructions | 200,000 |
| python_code_instructions_18k | 18,609 |
| wikipedia_korean_2024 | 200,000 |
데이터 도메인
- 📰 뉴스/웹 텍스트 (mc4, culturax, webtext)
- 📚 도서/문서 (대규모 도서 말뭉치)
- 🔬 학술/논문 (바이오의료 논문, 기술과학)
- ⚖️ 법률/행정 (법률, 특허, 국회회의록)
- 🏥 의료/건강 (헬스케어 QA)
- 💻 코드/수학 (코드 추론, 수학 추론)
- 📖 백과사전 (나무위키)
- 🎓 교육 (대학 강의, 지식그래프)
- 💬 대화/QA (민원 상담, 일상 대화)
라이선스
Apache-2.0
제작
- 프로젝트: yejin-korean LLM
- 제작 환경: KT Cloud H200 서버 (CPU 전용)
- 날짜: 2026-08-29