yejin-korean-tokenizer-64k

한국어에 최적화된 64K Byte-Level BPE 토크나이저입니다.

특징

Vocab 크기: 64,000 토큰
알고리즘: Byte-Level BPE (Llama/GPT 스타일)
유니코드 정규화: NFC (한국어 자모 결합 보장)
특수 토큰: BOS, EOS, PAD, UNK + 채팅 토큰 (system/user/assistant)
학습 소요: 23.6분 (CPU)
학습 데이터: 총 5,958,043개 텍스트

polyglot-ko (30K) 대비 개선

기존 polyglot-ko 토크나이저(30K vocab) 대비 한국어 토큰 효율이 크게 개선되었습니다. Vocab 크기가 2배 이상이므로 같은 문장을 더 적은 토큰으로 표현할 수 있어, 동일한 컨텍스트 길이에서 더 많은 정보를 처리할 수 있습니다.

사용법

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cooler8/yejin-korean-tokenizer-64k")

text = "인공지능과 거대언어모델의 미래는 밝습니다."
tokens = tokenizer.encode(text)
print(f"토큰 수: {len(tokens)}")
print(f"토큰: {tokenizer.convert_ids_to_tokens(tokens)}")

학습 데이터

총 5,958,043개 텍스트로 학습되었습니다.

AIHub 데이터 (정부 공공 데이터)

카테고리	텍스트 수
01_논문_학술	500,042
02_도서_말뭉치	500,003
03_전문분야	509,076
04_웹_뉴스	501,738
05_법률_행정	500,000
06_의료_건강	500,000
07_교육_지식	214,238

오픈소스 한국어 데이터

소스	텍스트 수
cosmopedia_stories_science	200,000
culturax_korean	200,000
ko_alpaca_instructions	21,149
ko_alpaca_v1.1a	21,149
ko_orca	34,163
korean_textbooks_claude_evol	200,000
korean_textbooks_code_alpaca	64,006
korean_textbooks_instructions	200,000
korean_textbooks_mmlu_all	97,697
korean_textbooks_tiny	200,000
korean_textbooks_wikidata	127,470
korean_webtext	200,000
magpie_reasoning_150k	148,703
math_instruct	200,000
mc4_korean	200,000
namuwiki	200,000
open_ko_instructions	200,000
python_code_instructions_18k	18,609
wikipedia_korean_2024	200,000

데이터 도메인

📰 뉴스/웹 텍스트 (mc4, culturax, webtext)
📚 도서/문서 (대규모 도서 말뭉치)
🔬 학술/논문 (바이오의료 논문, 기술과학)
⚖️ 법률/행정 (법률, 특허, 국회회의록)
🏥 의료/건강 (헬스케어 QA)
💻 코드/수학 (코드 추론, 수학 추론)
📖 백과사전 (나무위키)
🎓 교육 (대학 강의, 지식그래프)
💬 대화/QA (민원 상담, 일상 대화)

라이선스

Apache-2.0

제작

프로젝트: yejin-korean LLM
제작 환경: KT Cloud H200 서버 (CPU 전용)
날짜: 2026-08-29