Korean | English
v1.2.1, 라벨 프로파일 edu-v1+fmt · 29클래스 BIO)mulkzz/kestrel-edu-ner-6l(v1.2.1, 라벨 프로파일 edu-v1+fmt)는 교사가 외부 LLM(OpenRouter 등)에 학생 기록·상담 일지·생활기록부 초안·학부모 안내문을 보내기 전에 개인식별정보(PII)를 탐지·가명화하기 위해 설계된 한국어 교육 도메인 전용 6층 경량 토큰 분류(NER) 모델입니다. skt/A.X-Encoder-base(9708f9c, Apache-2.0)를 22층 교사 모델(mulkzz/kestrel-edu-ner-22l@20133bbd)로 미세조정한 뒤, 전역·국소 어텐션 및 RoPE 주파수가 1:1로 대응하는 6개 층([0, 4, 9, 13, 18, 20], global_attn_every_n_layers=2)으로 다중 신호 지식 증류(Logit KL + 은닉층 코사인 정렬 + 하드 CE)하고 무코드 온도·마진 보정($T = 1.428$, $\delta_O = +0.225$) 및 채널별 동적 INT8 양자화(onnx/model_int8.onnx, 69.62 MB)를 적용했습니다.
본 v1.2.1 릴리스는 v1.2의 29클래스 신경망 가중치(sha256: b8010203..., 무재학습 100% 동일) 위에 런타임 한국어 조사·어간 후처리 결함 3건(1음절 한글·한자 인명 보존, 공백 성명 어간 하한, 받침 음운 조건부 조사 절단)을 수정하여 dorms-pii-ner-bench v1.1 핵심 정답 누락 문항 비율을 17.0% → 8.4% (-8.6%p, 양측 McNemar $p < 0.0001$)로 절반 이하 감축한 최신 릴리스입니다.
main · v1.2.1 · v1.2 (현재 기본값): 29클래스 edu-v1+fmt 가중치 및 v1.2.1 평가·후처리 규격을 제공합니다. DoRms Alias 로컬 브리지(alias-bridge) 온디바이스 기본 모델 및 서버 pii-worker 비동기 무노출 Shadow 검증 모델로 채택되어 있습니다.v1.0 브랜치 · 태그 (영구 동결 기준선): 최초 단발(Single-Shot) 9클래스(edu-v1) 기준선 가중치와 기록은 revision="v1.0"(b61b3e8231491d16dca16566ef03e34ed57fcda0)에 무변경 상태로 영구 보존됩니다.20133bbde74f46bee9d51dcbb937cd58683a9200)9708f9c404ace91efd25c06fac2d73413616f4ef, pad_token_id=49999, Apache-2.0)v1.2와 비트 단위 동일 해시):model.safetensors: 온도·마진 보정 흡수 완료(T = 1.428, O 마진 +0.225) 6층 FP32 가중치 (276.42 MB, 총 파라미터 69.10M / 비임베딩 행렬 연산 파라미터 30.70M)onnx/model.onnx: ONNX Opset 17 FP32 기준 그래프 (276.60 MB, PyTorch 대비 max |Δlogit| = 7.49e-5, argmax 일치 100.00%)onnx/model_int8.onnx: MatMul + Gemm + Gather 채널별 동적 INT8 배포 그래프 (69.62 MB, 29클래스 classifier 선형층 FP32 보존)0건, 외부 상용 LLM(OpenAI·Gemini/Gemma 등) 생성문 0건. 결정론적 규칙·슬롯 문법과 교사 업무 12장르 동결 틀 은행(벤치마크와 클러스터·8-gram 완전 분리)에서 합성한 라벨 28,000건 + 무라벨 100,000건으로 NVIDIA L40S에서 학습·증류했습니다(9,397스텝, 76.12M 유효 토큰).dorms-pii-ner-bench v1.1 사후 보완 측정 요약 (post-v1.1, n = 848문항 · 2,009 span)측정 성격 고지:
dorms-pii-ner-bench v1.1은v1.0단발 측정 후 사후 원인 감사를 반영한v1.2재학습 및v1.2.1한국어 조사 후처리 결함 수정을 거쳐 재측정했으므로 모든v1.1수치에post-v1.1(사후 보완 측정) 표기를 병기합니다. 열람 이력이 전혀 없는 미노출 합성 단발 평가는 별도 동결된itest_v1_2(3,000문항, 하단 6절)로 교차 검증했습니다.
Fig. 1 |
dorms-pii-ner-bench v1.1(post-v1.1, 848문항 · 핵심 정답 1,693개 · 판단 유보 316개)에서kestrel-edu-ner-6l v1.2.1(onnx/model_int8.onnx, 29 BIO)과 현행 기준 모델koredact-int8(infobank-corp/koredact-bert-base-onnx-int8@a2e7696, 12층 BERT INT8) 비교. a, 규칙 단독(NER disabled),규칙+koredact-int8,규칙+kestrel-6l v1.2.1의 문항 완전 적중률(1 − 누락 문항 비율) 및 4대 핵심 유형 재현율(Wilson 95% CI). 핵심 정답이 하나라도 누락된 문항 비율이17.0% (109/643)(동일v1.2.1런타임 기준16.8% 108/643)에서8.4% (54/643)(적중률91.6%)로 절반 이하 감축됨(불일치27대82, 문항 단위 정확 양측 McNemar $p < 0.0001$). b, 문항 군집 부트스트랩(2,000회, Miller 2024arXiv:2411.00640) 정답 재현율 쌍대 차이: 전체 핵심 정답+4.8%p [+3.1, +6.6]($p < 0.0001$; NER 단독+8.9%p [+6.7, +11.1]),ORG +63.7%p [+53.1, +74.0]($p < 0.0001$),SCHOOL +11.8%p [+5.2, +19.8]($p = 0.0020$; NER 단독19.4% → 96.8%),PERSON +0.5%p [-1.0, +2.1]($p = 0.8939$,96.1% → 96.6%),ADDRESS -1.8%p [-5.8, +0.0]($p = 1.0000$, 도로명96.0%). c,docURL_ID(100%), 결합 호칭D5(100%), 로마자 인명(100%), 1음절 외자 한글(98.4%), 도로명 주소(96.0%), 띄어 쓴 성명(95.0%), 애칭(75.4% → 90.2%),PERSON딱 맞음 경계(87.7% → 92.0%) 등 전 세부 슬라이스 우세 확인. d, 차단 모드 평가셋(holdout_w12/w13/w13b/w13c,teacher_eval)의 무명 요청 오차단율 일제 감소 및post-v1.1무해 문항 오탐률14.8% (18/122)(koredact16.4%하회) 달성.
Fig. 2 |
v1.2.1양자화 동등성(FP32 대 INT8), CPU 추론 지연·메모리 실측, 4중 채택 게이트 총괄표. a,onnx/model.onnx(FP32,276.60 MB) 대onnx/model_int8.onnx(int8_pc_gather,69.62 MB) 비교: 문항 적중률91.1% → 91.6%($p = 0.2500$), 고유 값 핵심 재현율 차이+0.1%p [-0.1, +0.4](SCHOOL/ORG/ADDRESS$p = 1.0000$,PERSON$p = 0.5000$)로 29클래스 확장 후에도 양자화 손실이0임을 입증함. b, CPU 추론 지연(post-v1.1848문항55.3s → 25.5s2.17×가속;w13c_eval8,484건156s → 72s2.17×가속; PII Worker20k×4p5010.02s → 4.40s; Local Bridge20kp503.84s → 1.82s; ECIC-4투영32.0s → 14.1s로40s상한 통과). c, 디스크 크기(111.2 → 69.6 MB,-37.4%) 및 서빙 메모리 예산(Local Bridge436.0 MiB,PII Worker715.8 MiB). d, 사전 등록 4중 게이트 세부 성적 및 배포 현황(alias-bridge기본 모델 + 서버 비동기 Shadow 모델).
| 구분 | 평가 지표 (dorms-pii-ner-bench v1.1 post-v1.1, pipeline 기준) |
표본 수 | 규칙+koredact-int8 |
규칙+kestrel-6l v1.2.1 |
쌍대 차이 Δ (kestrel − koredact) 및 판정 |
|---|---|---|---|---|---|
| 주 지표 | 핵심 정답 누락 문항 비율 (낮을수록 우수) | 643 문항 | 17.0% (109/643) [14–20] |
8.4% (54/643) [6–11] |
-8.6%p (불일치 27 대 82, McNemar $p < 0.0001$, 대폭 개선) |
| 고유 값 핵심 재현율 / 전체 span 쌍대 차이 | 1,495 / 1,693 | 90.9% (1359/1495) |
96.3% (1439/1495) |
span +4.8%p [+3.1, +6.6] ($p < 0.0001$; NER 단독 +8.9%p) |
|
| 유형별 재현율 | PERSON 핵심 재현율 (NER 단독) |
1,442 span | 96.1% (94.7%) |
96.6% (95.9%) | +0.5%p [-1.0, +2.1], $p = 0.8939$ (단독 +1.2%p, 비열등·상회) |
SCHOOL 핵심 재현율 (NER 단독) |
93 span | 86.0% (19.4%) |
97.8% (96.8%) | +11.8%p [+5.2, +19.8], $p = 0.0020$ (NER 단독 +77.4%p) |
|
ORG 지역 기관·학원·병원 재현율 (NER 단독) |
102 span | 30.4% (30.4%) |
94.1% (93.1%) | +63.7%p [+53.1, +74.0], $p < 0.0001$ (3.1배 도약) |
|
ADDRESS 핵심 재현율 (apt/lot/road) |
56 span | 85.7% (100/100/100%) |
83.9% (100/100/96.0%) |
-1.8%p [-5.8, +0.0], $p = 1.0000$ (동등성 회복, v1.0 -12.5%p 해소) |
|
| 세부 일반화 | 풀 밖 형태 / 1음절 외자(single) / 한자(hanja) |
133 / 63 / 10 | 80.5% / 93.7% / 100.0% | 91.7% / 98.4% / 100.0% | 풀 밖 +11.2%p, 외자 한글 62/63 포착 |
애칭(nickname) / 띄어 쓴 성명(spaced) / 로마자(roman) |
61 / 20 / 22 | 75.4% / 90.0% / 63.6% | 90.2% / 95.0% / 100.0% | 애칭 +14.8%p, 띄어 쓴 성명 19/20, 로마자·결합호칭(D5) 만점 |
|
| 경계 및 오탐 | PERSON 딱 맞음 비율 / 우측 넘침 비율 (NER 단독) |
1,442 span | 87.7% / 8.8% (7.7%) |
92.0% / 4.8% (3.6%) | 정밀 경계 +4.3%p 상승, 우측 조사 넘침 절반 이하 감축 |
ADDRESS 딱 맞음 / ORG 딱 맞음 / SCHOOL 딱 맞음 |
56 / 102 / 93 | 57.1% / 27.5% / 84.9% | 76.8% / 93.1% / 91.4% | 4대 핵심 유형 전 구간에서 경계 정밀도 대폭 향상 | |
무해 문항(neg·amb_neg) 오탐률 / X.echo / doc URL_ID |
122 / 6 / 9 | 16.4% (20/122) / 3 / 100% |
14.8% (18/122) / 1 / 100% |
무해 문항 오탐률이 koredact 아래로 하락, URL_ID 9/9 만점 복구 |
v1.0 → v1.2 → v1.2.1 단계별 원인 해결 및 무재학습 후처리 개선 요약v1.0(9클래스 edu-v1) 단발 측정 직후 규명된 5대 데이터·스키마 과제를 v1.2(29클래스 edu-v1+fmt) 재학습으로 해결한 뒤, v1.2 평가 과정에서 동일 가중치 koredact조차 함께 하락시켰던 런타임 한국어 조사·어간 후처리 결함 3건을 v1.2.1에서 가중치 재학습 없이 바로잡았습니다:
| 단계 | 해결 대상 과제 | koredact-int8 |
kestrel v1.0 |
kestrel v1.2 |
kestrel v1.2.1 (현재) |
핵심 해결 메커니즘 |
|---|---|---|---|---|---|---|
v1.2 스키마 |
정형 보조 라벨 복원 (doc URL_ID · teacher_eval Soft 누락) |
9/9 · 0/172 |
0/9 · 12/172 |
9/9 · 0/172 |
9/9 (100%) · 0/172 |
10종 정형 보조 BIO(9..28) 복원 (edu-v1+fmt, 29클래스) |
v1.2 합성 |
도로명 주소 ", N층" 쉼표 분절 (ADDRESS / road) |
85.7% / 100% |
73.2% / 72.0% |
83.9% / 96.0% |
83.9% / 96.0% ($p=1.00$) |
쉼표 층수·농어촌 도로명 합성 보강 (tight 57.1% → 76.8%) |
v1.2 합성 |
무해 문항(neg·amb_neg) 교과 일반명사 오탐 |
16.4% (20/122) |
27.0% (33/122) |
14.8% (18/122) |
14.8% (18/122) |
교과 개념어·교실 사물 음성 대조 강화 (X.echo 3/6 → 1/6) |
v1.2.1 후처리 1 |
1음절 외자 한글·한자 인명 절삭 (PERSON single / hanja) |
93.7% / 100% |
96.8% / 100% |
74.6% / 90.0% |
98.4% (62/63) / 100% |
불용 대명사(이/그/저/요) 외 1글자 한글·CJK 한자 PERSON 보존 |
v1.2.1 후처리 2 |
띄어 쓴 성명 어간 절단 ("박 미랑", PERSON spaced) |
90.0% (18/20) |
20.0% (4/20) |
90.0% (18/20) |
95.0% (19/20) |
공백 제외 어간 길이 하한 계산 및 공백 뒤 호칭 접미(씨/님/군/양)만 분리 |
v1.2.1 후처리 3 |
받침 무관 "-이" 절단 충돌 (nickname / PERSON tight) |
75.4% / 87.7% |
88.5% / 84.9% |
49.2% / 88.8% |
90.2% / 92.0% |
선행 음절 받침(종성) 존재 시에만 이/은/을/과/으로 계열 조사 분리 |
| 종합 결과 | 핵심 정답 누락 문항 비율 / PERSON 전체 재현율 |
17.0% / 96.1% |
12.3% / 95.7% |
13.5% / 93.4% |
8.4% (54/643) / 96.6% |
누락 문항 절반 이하 감축 (-8.6%p, 양측 McNemar $p < 0.0001$) |
D1=B · D2 · D5):D1=B): 수업 자료 속 역사 인물·작가·문학 등장인물("윤동주 시인의 서시", "홍길동전")은 O로 유지하되, 동명이인 실제 학생("2학년 3반 윤동주 학생 상담")은 PERSON으로 잡도록 동일 인명 수업 문맥(O) 대 학적 문맥(PERSON) 대조 쌍을 같은 미니배치에 구성했습니다(teacher_eval 공인 오차단 85.6% → 14.4%, holdout_w13c 공인 수업 대화 오차단 56.5% → 34.8%, $p = 0.0020$).성+직함 비개체 (D2): 교육부·나이스(NEIS)·EBS 등 전국 단위 공적 체계와 "김 선생님"류 1글자 성+호칭은 O로 두어 교사 프롬프트 손상을 막습니다.D5): "서아맘", "민준학생"에서 이름 본체("서아", "민준")만 PERSON으로 학습하고 조사 분리 BIO 정렬(particle_aware)을 적용해 결합 호칭 재현율 100.0% (22/22) 를 달성했습니다.backbone.py):transformers의 ModernBertAttention은 layer_id % global_attn_every_n_layers == 0 수식으로 전역 어텐션(rope_theta=160,000)과 국소 슬라이딩 어텐션(local_attention=128, rope_theta=10,000)을 결정합니다.global_attn_every_n_layers=2로 설정하여 [전역, 국소, 전역, 국소, 전역, 국소] 구조를 만들고, 22층 교사의 (0, 4, 9, 13, 18, 20)번 층을 1:1 복제해 trust_remote_code=False 표준 로더에서도 RoPE inv_freq와 어텐션 창이 정확히 일치합니다(비임베딩 연산 파라미터 110.94M → 30.70M, -72.3%).Stage 2):28,000건($\alpha=0.3$)과 무라벨 합성 교육 문서 100,000건($\alpha=0.0$)에 대해 온도 $\tau = 3.0$ 로짓 KL 발산과 6개 대응 층 은닉 표현 코사인 손실($\beta = 0.2$)을 결합해 NVIDIA L40S에서 학습했습니다(9,397스텝, 누적 유효 토큰 76.12M, 1.5에폭 step=4,025 최적 채택).dev_v1_2(3,000건, 유효 토큰 392,794개)에서 토큰 NLL을 최소화하는 온도 $T = 1.428$(NLL 0.01555 → 0.01262, ECE 0.00229 → 0.00099, -56.6%)과 O 로짓 마진 $\delta_O = +0.225$를 선형 분류기 가중치(W /= T, b /= T, b[0] += delta_O)에 직접 흡수해 추론 시 argmax만으로 보정이 적용됩니다(max |Δlogit| = 2.86e-6, argmax 일치 100.0%).onnxruntime 동적 양자화 시 MatMul + Gemm + Gather(5만 어휘 임베딩 포함)만 채널별 QInt8로 양자화하고 마지막 29클래스 classifier 노드는 FP32로 보존해 69.62 MB 용량과 FP32 동등 정확도를 달성했습니다.edu-v1+fmt, 29클래스 BIO) 및 입출력 규격| ID | config.json BIO 라벨 |
설명 | 런타임 정책 매핑 및 비고 |
|---|---|---|---|
0 |
O |
비개체·일반 어휘·조사 | 교과 공인/문학 인물(D1=B), 전국 공적 기관·김 선생님(D2) |
1, 2 |
B-PERSON, I-PERSON |
학생·학부모·교직원 실명, 외자·한자·애칭·로마자·외래 인명 | PERSON (핵심 비정형, 조사·호칭 제외 본체 정렬) |
3, 4 |
B-SCHOOL, I-SCHOOL |
유치원·초·중·고·특수학교·대학교 정식 교명 및 약칭(한빛초) |
SCHOOL (핵심 비정형, 우리 학교 등 보통명사 제외) |
5, 6 |
B-ORG, I-ORG |
지역 학원·교습소·상담센터·병의원·지역 복지관·보호자 직장명 | ORG (핵심 비정형, 전국 공적 기관 제외) |
7, 8 |
B-ADDRESS, I-ADDRESS |
도로명(쉼표 층수 포함)·지번·아파트 동/호수·상세 거주지 주소 | ADDRESS (핵심 비정형, 시/구 단독 표기 제외) |
9, 10 |
B-PHONE, I-PHONE |
유무선 전화번호·변칙 구분자 번호 | PHONE (정형 2차 방어선) |
11, 12 |
B-EMAIL, I-EMAIL |
이메일 주소 | EMAIL (정형 2차 방어선) |
13, 14 |
B-RRN, I-RRN |
주민등록번호·외국인등록번호 | RRN (정형 2차 방어선) |
15, 16 |
B-PASSPORT, I-PASSPORT |
여권 번호 | DoRms Alias 런타임에서 RRN 고위험 신분증 군으로 통합 |
17, 18 |
B-DRIVER_LICENSE, I-DRIVER_LICENSE |
운전면허번호 | DoRms Alias 런타임에서 RRN 고위험 신분증 군으로 통합 |
19, 20 |
B-ACCOUNT, I-ACCOUNT |
은행 계좌번호 | ACCOUNT (정형 2차 방어선) |
21, 22 |
B-CARD, I-CARD |
카드번호 | DoRms Alias 런타임에서 ACCOUNT 금융 식별자 군으로 통합 |
23, 24 |
B-BRN, I-BRN |
사업자등록번호 | DoRms Alias 런타임에서 ACCOUNT 금융 식별자 군으로 통합 |
25, 26 |
B-URL, I-URL |
학교 알림장·학급 문서·개인 식별 URL | DoRms Alias 런타임에서 URL_ID로 매핑 (doc 9/9 포착) |
27, 28 |
B-CODE, I-CODE |
임시 비밀번호·초대코드·인증 시크릿 | DoRms Alias 런타임에서 SECRET으로 매핑 |
v1.2.1):pad_token_id = 49999): skt/A.X-Encoder-base 토크나이저의 [PAD] ID는 0('[CLS]')이 아닌 49999 입니다. 수동 배치 구성 시 반드시 49999로 패딩하십시오.W-400) 및 O -> I-* 복원: 긴 문서는 자르지 말고 400자 창 / 100자 겹침(max_tokens=512, batch_size=8)으로 추론한 뒤, 단독 I-TYPE 시작 토큰을 B-TYPE으로 승격해 병합합니다.v1.2.1 권장): PERSON 스팬 우측에 결합된 조사를 정리할 때 은/을/과/으로/이/이가/이는/이를/이와/이의/이랑 등 받침 의존 조사는 직전 한글 음절에 받침(종성)이 있을 때만 제거하고, 공백 포함 성명은 공백을 제외한 음절 수 기준으로 최소 어간 길이를 판정하십시오.onnx/model_int8.onnx)import json
import numpy as np
import onnxruntime as ort
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-6l"
REV = "v1.2.1" # 또는 기본 브랜치 "main"
cfg = json.loads(open(hf_hub_download(REPO_ID, "config.json", revision=REV), encoding="utf-8").read())
tok = Tokenizer.from_file(hf_hub_download(REPO_ID, "tokenizer.json", revision=REV))
tok.no_truncation()
tok.no_padding()
so = ort.SessionOptions()
so.intra_op_num_threads = 2
so.inter_op_num_threads = 1
session = ort.InferenceSession(
hf_hub_download(REPO_ID, "onnx/model_int8.onnx", revision=REV),
so,
providers=["CPUExecutionProvider"],
)
text = "별빛고 박 미랑 학생과 초롱이가 해오름상담센터(물안개로 58, 1층)에 방문했다."
enc = tok.encode(text)
pad_id = int(cfg.get("pad_token_id", 49999))
ids = np.full((1, len(enc.ids)), pad_id, dtype=np.int64)
mask = np.ones((1, len(enc.ids)), dtype=np.int64)
ids[0, :] = enc.ids
logits = session.run(None, {"input_ids": ids, "attention_mask": mask})[0][0]
pred_ids = logits.argmax(axis=-1).tolist()
id2label = {int(k): v for k, v in cfg["id2label"].items()}
spans = []
cur_type, cur_s, cur_e = None, 0, 0
for tid, (s, e), sp in zip(pred_ids, enc.offsets, enc.special_tokens_mask):
tag = "O" if sp or e <= s else id2label[tid]
if tag == "O":
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
cur_type = None
continue
prefix, etype = tag.split("-", 1)
if prefix == "B" or cur_type != etype:
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
cur_type, cur_s, cur_e = etype, s, e
else:
cur_e = e
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
print(spans)
model.safetensors)import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-6l"
REV = "v1.2.1"
tokenizer = AutoTokenizer.from_pretrained(REPO_ID, revision=REV)
model = AutoModelForTokenClassification.from_pretrained(REPO_ID, revision=REV).eval()
text = "윤동주 시인의 서시를 배운 뒤 동명이인 윤동주 학생의 독서 기록을 작성했다."
inputs = tokenizer(text, return_offsets_mapping=True, return_tensors="pt")
offsets = inputs.pop("offset_mapping")[0].tolist()
with torch.no_grad():
pred = model(**inputs).logits[0].argmax(dim=-1).tolist()
for pid, (s, e) in zip(pred, offsets):
if e > s and pid != 0:
print(model.config.id2label[pid], text[s:e], (s, e))
v1.2.1의 알려진 잔여 한계 및 배포 원칙 (투명 공개):dorms-pii-ner-bench v1.1에서 무해 문항(neg·amb_neg) 오탐률은 14.8%로 koredact(16.4%)보다 낮으나, 양성 문항 내 부수 오탐을 포함한 전체 848문항 1만 자당 오탐(20.3 대 13.4, 단독 12.7 대 5.8), 반례 word 적중 4/89 (4.5%)(이슬, 단비), 보통명사 동형이의 인명(amb 갈래 83.3% 대 94.7%)에서 세부 격차가 남아 있습니다.koredact보다 낮으나(townboy_eval 25.6% → 24.3%, townboy_dev 8.0% → 6.7%, kdpii_test 43.8% → 40.8%), 비교육 일반 금융·여권 번호 Soft 누락(townboy_eval 0.8% 5/605, kdpii_test 34.8%)과 문맥 없이 여러 턴에 쪼갠 숫자(w13c split)가 남아 있습니다. 이에 따라 사전 등록 4중 게이트 원칙을 엄격히 적용해 온디바이스 alias-bridge 기본 모델 및 서버 비동기 Shadow 모델로 우선 운영하며 서버 주 기본값 교체 여부는 현장 Shadow 집계 후 결정합니다.townboy/korean-pii-dataset (076419f07f7073b6b28cdfdb6fbd8b75e1278053, CC BY 4.0, 합성 데이터셋)KDPII 시험 분할 (Zenodo 10968609, CC BY 4.0, 연세대학교 연구진, IEEE Access, vol. 12, 2024, doi:10.1109/ACCESS.2024.3461804) — 오직 읽기 전용 집계 평가에만 사용했으며, 원문 행이나 부분 문자열은 가중치·코드·figures/data/ 어디에도 포함되지 않습니다.NOTICE 참조).dev_v1_2 · 단발 itest_v1_2) 상세 지표Fig. 3 | Stage 1 22층 교사 미세조정 · Stage 2 6층 학생 다중 신호 증류 동역학 및 미노출 단발
itest_v1_2검증. a, 22층 교사(3,573스텝,14.88M토큰, 29 BIO)의 스텝별 학습 손실과 0.5에폭 주기dev_v1_2손실(1.5에폭step=1,783최적 채택,selection_score=1.7843). b, 6층 학생(9,397스텝,76.12M토큰, 라벨 28k + 무라벨 100k)의 총 증류 손실, $\tau^2\mathrm{KL}$ 발산, 은닉 코사인 손실($1-\cos$),dev_v1_2손실(1.5에폭step=4,025최적 채택,selection_score=1.7481). c, 정규화 진행률 대비 경사 $L_2$ 노름($|g|_2$) 수렴 추이. d, 내부dev_v1_2(3,000건) 및 미노출 틀·엔터티 풀로 구성된 단발itest_v1_2(3,000건)의 22층 교사 대 6층 보정 학생 비교(합성 분포 내 지표이므로 실제 일반화 성능은 위 1절의dorms-pii-ner-bench v1.1을 기준으로 해석해야 함).
dev_v1_2, n = 3,000)평가 시점 (epoch) |
글로벌 스텝 | 누적 유효 토큰 | dev_loss |
selection_score |
macro_core_recall |
formal_recall |
public_person_fp |
비고 |
|---|---|---|---|---|---|---|---|---|
| 0.5 | 1,343 | 10.92M | 0.01486 | 1.7376 | 98.21% | 100.00% | 27.39% | 초기 수렴 |
| 1.0 | 2,682 | 21.72M | 0.02027 | 1.7070 | 98.02% | 100.00% | 27.39% | no_imp=1 |
| 1.5 | 4,025 | 32.53M | 0.01548 | 1.7481 | 98.27% | 100.00% | 5.61% | 최종 채택 (*BEST*) |
| 2.0 | 5,366 | 43.45M | 0.01644 | 1.7363 | 98.31% | 100.00% | 12.87% | no_imp=1 |
| 2.5 | 6,706 | 54.24M | 0.01465 | 1.7358 | 98.36% | 100.00% | 10.23% | no_imp=2 |
| 3.0 | 8,052 | 65.19M | 0.01648 | 1.7216 | 98.46% | 100.00% | 16.50% | no_imp=3 |
| 3.5 | 9,397 | 76.12M | 0.01571 | 1.7227 | 98.41% | 100.00% | 15.51% | 조기 종료 (patience=4) |
itest_v1_2 (n = 3,000) 교사 대 학생 성적 (W-400, pipeline 뷰)모델 (itest_v1_2, 단 1회 측정) |
macro_core_recall |
overall_core_recall |
formal_recall (1,817 span) |
PERSON |
SCHOOL |
ORG |
ADDRESS |
overall_tight |
innocent_fp_item (NER) |
|---|---|---|---|---|---|---|---|---|---|
kestrel-edu-ner-22l (22층 교사) |
97.84% | 96.79% | 100.00% | 96.60% | 100.00% | 94.90% | 99.85% | 97.74% | 4.79% (amb_neg 1.28%) |
kestrel-edu-ner-6l (6층 보정 학생) |
97.44% | 95.77% | 100.00% | 95.44% | 99.56% | 94.75% | 100.00% | 97.37% | 1.14% |
dev_v1_2 실제 창 200건 / 11,713 유효 토큰)| 그래프 변형 | 파일 경로 | 크기 | max |Δlogit| | p99 |Δlogit| | argmax 일치율 | dev_v1_2 3,000건 pipeline Macro Recall |
|---|---|---:|---:|---:|---:|---:|
| PyTorch FP32 (safetensors) | model.safetensors | 276.42 MB | 기준 (0) | 기준 (0) | 100% | 98.44% |
| ONNX FP32 | onnx/model.onnx | 276.60 MB | 7.49 × 10⁻⁵ | 7.27 × 10⁻⁶ | 100.0000% | 98.44% |
| ONNX INT8-PC-Gather (주력) | onnx/model_int8.onnx | 69.62 MB | 0.7832 | 0.0660 | 99.9573% | 98.45% (McNemar $p = 1.0000$) |
onnx/model.onnx 277 MBmodel.safetensors 276 MBonnx/model_int8.onnx 70 MBskt/A.X-Encoder-base