Korean | English
1. 모델 요약 (v1.2.1, 라벨 프로파일 edu-v1+fmt · 29클래스 BIO 22층 교사 모델)
mulkzz/kestrel-edu-ner-22l(v1.2.1, 라벨 프로파일 edu-v1+fmt)는 경량 서빙 학생 모델(mulkzz/kestrel-edu-ner-6l)의 다중 신호 지식 증류(Stage 2)를 감독하기 위해 학습된 22층 상위 교사(Teacher) 토큰 분류 모델(149.34M 파라미터 / 비임베딩 110.94M)입니다. skt/A.X-Encoder-base(9708f9c, Apache-2.0) 위에 4대 핵심 비정형 개체(PERSON, SCHOOL, ORG, ADDRESS) + 10종 정형 보조 개체(PHONE, EMAIL, RRN, PASSPORT, DRIVER_LICENSE, ACCOUNT, CARD, BRN, URL, CODE) 총 29클래스 BIO 헤드를 얹고, 조사 분리 정렬(particle_aware)과 동형이의어(amb 대 amb_neg) + 동명이인(D1=B 교과 공인 O 대 실제 학생 PERSON) 동일 미니배치 대조 샘플러로 미세조정했습니다.
- 브랜치 · 리비전 및 서빙 안내:
- 경량 6층 서빙 학생 모델 (운영 권장): mulkzz/kestrel-edu-ner-6l (
69.62 MBINT8 ONNX, CPU2.17×가속,dorms-pii-ner-bench v1.1post-v1.1적중률91.6% [589/643]/ 누락8.4%). main·v1.2.1·v1.2: 29클래스edu-v1+fmt교사 가중치(sha256: 9998e608...) 및v1.2.1최신 벤치마크 도표를 제공합니다. 초기 9클래스(edu-v1) 단발 기준선은revision="v1.0"(133302653e95c30d0e8ea0729f0e6f9649d4a0eb)에 영구 보존됩니다.- 실시간 CPU 서빙 참고: 22층 교사 모델은 ECI
C-4(4 vCPU) 기준20,000자×동시 4요청투영 지연이~54.5s(40s상한 초과)이므로 실시간 게이트웨이·온디바이스 브리지에는 6층 증류 학생 모델을 사용하며, 본 저장소는 지식 증류 재현·오프라인 고정밀 기준선·후속 연구용으로 공개합니다.
- 경량 6층 서빙 학생 모델 (운영 권장): mulkzz/kestrel-edu-ner-6l (
- 학습 데이터 원칙: 실제 학생 자료
0건, 외부 상용 LLM 생성 학습 데이터0건(28,000건 결정론적 합성 교육 문서).
6층 증류 학생의 post-v1.1 벤치마크 및 교사-학생 용량 비교
Fig. 1 | 22층 교사(
kestrel-edu-ner-22l) → 6층 학생(kestrel-edu-ner-6l) 압축 시 지연·메모리 절감 및v1.2.14중 게이트 요약. 비임베딩 연산 파라미터를110.94M → 30.70M(-72.3%)으로 줄여 Local Bridge 20k자 지연을6.49s → 1.82s, PII Worker20k×4지연을17.03s → 4.40s로 단축하면서도 미노출 단발itest_v1_2(3,000건) 매크로 핵심 재현율97.84% → 97.44%(정형 1,817 span100.0% → 100.0%)를 유지함. 6층 학생의dorms-pii-ner-bench v1.1(post-v1.1, 누락 문항17.0% → 8.4%, $p < 0.0001$) 상세 성적은 mulkzz/kestrel-edu-ner-6l 카드 및./figures/ner_bench_v1_1_6l.svg참조.
Fig. 2 | Stage 1 22층 교사 미세조정 수렴 동역학 및 분포 내(
dev_v1_2/ 단발itest_v1_23,000건) 성적.28,000건 합성 교육 문서에서 차등 학습률(backbone 3e-5,classifier 1e-4, 코사인 스케줄, 실효 배치32,bf16)로 학습하여1.5에폭(step=1,783,7.44M토큰)에서 최고 결합 점수(selection_score=1.7843, 정형 재현율100.0%, 공인 오탐2.31%)를 달성함.
2. Stage 1 교사 학습 설정 및 에폭별 수렴 추이
- 데이터셋: 교사 업무 12장르 동결 틀 은행 기반 결정론적 합성 데이터(
train 28,000/dev_v1_2 3,000/ 단발itest_v1_2 3,000). 실제 학생 데이터0건, 외부 상용 LLM 생성문0건. - 최적화:
AdamW(backbone_lr=3e-5,classifier_lr=1e-4,weight_decay=0.01,warmup_ratio=0.06,max_grad_norm=1.0,micro_batch=16 × grad_accum=2), 슬롯 동적 치환 증강15%, 다중 스케일 창(W-40030% 혼합).
평가 시점 (epoch) |
글로벌 스텝 | 누적 유효 토큰 | dev_loss |
selection_score |
macro_core_recall |
formal_recall |
homonym_student |
public_person_fp |
비고 |
|---|---|---|---|---|---|---|---|---|---|
| 0.5 | 593 | 2.55M | 0.00408 | 1.7837 | 98.58% | 100.00% | 97.57% | 0.33% | 초기 수렴 |
| 1.0 | 1,187 | 4.95M | 0.00446 | 1.7700 | 98.55% | 100.00% | 93.69% | 0.33% | no_imp=1 |
| 1.5 | 1,783 | 7.44M | 0.00620 | 1.7843 | 98.60% | 100.00% | 97.09% | 2.31% | 최종 채택 (*BEST*) |
| 2.0 | 2,379 | 9.91M | 0.00496 | 1.7584 | 98.62% | 100.00% | 96.60% | 8.91% | no_imp=1 |
| 2.5 | 2,976 | 12.40M | 0.00861 | 1.7708 | 98.64% | 100.00% | 96.12% | 8.25% | no_imp=2 |
| 3.0 | 3,573 | 14.88M | 0.01840 | 1.7785 | 98.66% | 100.00% | 98.06% | 9.24% | 조기 종료 (patience=3) |
분포 내 dev_v1_2 (3,000건) 및 미노출 단발 itest_v1_2 (3,000건) 비교 (W-400, pipeline 뷰)
| 분할 | 모델 | macro_core_recall |
overall_core_recall |
formal_recall |
PERSON |
SCHOOL |
ORG |
ADDRESS |
public_person_fp (NER) |
|---|---|---|---|---|---|---|---|---|---|
dev_v1_2 (3,000) |
kestrel-edu-ner-22l (교사) |
98.71% | 98.32% | 100.00% | 98.24% | 100.00% | 96.60% | 100.00% | 2.31% |
dev_v1_2 (3,000) |
kestrel-edu-ner-6l (보정 학생) |
98.45% | 97.84% | 100.00% | 97.69% | 99.60% | 96.60% | 99.90% | 5.28% |
itest_v1_2 (3,000) |
kestrel-edu-ner-22l (교사) |
97.84% | 96.79% | 100.00% | 96.60% | 100.00% | 94.90% | 99.85% | 0.00% |
itest_v1_2 (3,000) |
kestrel-edu-ner-6l (보정 학생) |
97.44% | 95.77% | 100.00% | 95.44% | 99.56% | 94.75% | 100.00% | 3.74% |
3. 호출 예제 (transformers) 및 고지
import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-22l"
REV = "v1.2.1" # 또는 기본 브랜치 "main"
tokenizer = AutoTokenizer.from_pretrained(REPO_ID, revision=REV)
model = AutoModelForTokenClassification.from_pretrained(REPO_ID, revision=REV).eval()
text = "별빛고 박 미랑 학생과 초롱이가 해오름상담센터(물안개로 58, 1층)에 방문했다."
inputs = tokenizer(text, return_offsets_mapping=True, return_tensors="pt")
offsets = inputs.pop("offset_mapping")[0].tolist()
with torch.no_grad():
pred = model(**inputs).logits[0].argmax(dim=-1).tolist()
for pid, (s, e) in zip(pred, offsets):
if e > s and pid != 0:
print(model.config.id2label[pid], text[s:e], (s, e))
- 주의 (
pad_token_id = 49999): 수동 배치 패딩 시 반드시49999를 사용하십시오(0은[CLS]). - 한계·외부 데이터 귀속·라이선스: 본 모델은 가명화 보조 연구·증류용 상위 모델이며 모든 개인정보의 완전한 탐지나 법적 면책을 보증하지 않습니다. 외부 평가 코퍼스(
townboy/korean-pii-datasetCC BY 4.0,KDPIIZenodo10968609CC BY 4.0, 읽기 전용 집계만 사용) 상세 결과는 mulkzz/kestrel-edu-ner-6l 모델 카드를 참조하십시오. 라이선스는 Apache-2.0 (NOTICE)입니다.