모델 카드 — ko-pii-mask-base (v0.1)
개요
- 과제: 한국어 개인정보 개체 탐지(토큰 분류, BIO 57태그 = 28유형 × B/I + O)
- 바탕 모델:
monologg/koelectra-base-v3-discriminator(Apache-2.0), 12층·768차원, 약 1억 1천만 파라미터 - 배포 형식: ONNX, 동적 8비트(채널별). FFN 출력층 12개는 활성을 fp32로 계산하고 가중치만 8비트로 저장한다 — 이 층까지 활성을 8비트로 줄이면 활성 이상치 때문에 정확도가 크게 떨어졌다(누락률 0.7% → 15.9%).
- 파일:
model_int8w8.onnx(약 108MB),tokenizer.json,tags.json
학습 데이터
- 자체 합성 생성기로 만든 한국어 문서(문서·채팅·메일·상담·서식 등). 개인정보 값은 모두 생성기가 만든 가짜 값이며, 식별번호는 일부러 체크섬이 틀리게 만든다.
- ai4privacy/pii-masking-openpii-1.5m 의 한국어 부분 (CC-BY-4.0)
- 1T/veil-pii-ko-synth 의 빈칸 틀 (Apache-2.0) — 값은 자체 생성기로 채움
- AI Hub 「민원(콜센터) 질의-응답 데이터」·「민원 업무 효율, 자동화를 위한 언어 AI 학습데이터」의 대화 틀 — 가림 표시를 빈칸으로 옮기고 값은 자체 생성기로 채움. 원본은 배포하지 않는다.
평가 (뒤처리 포함, 이 저장소의 PiiDetector 기본 설정)
| 셋 | 무엇 | 하나라도 놓친 비율 | 과잉 가림이 있는 비율 |
|---|---|---|---|
| KDPII 시험 분할(외부, CC-BY-4.0) | 실제 말투 대화 | 22.3% (발화 기준) | 7.4% |
| openpii 시험 분할 | 번역·합성 문서 | 1.9% | 7.2% |
| 합성 업무 문서·메일·채팅·상담 | 6개 셋 2,100건 | 1.3~10.0% | 37~53%* |
| 처음 보는 기관 유형 합성 셋 | 600건 | 3.8% | 15.5% |
| 개인 문맥 지명 셋 | 200문장 | 개인 지명 94% 잡음 | 일반 지명 15.5%를 함께 가림 |
* 이 셋들의 정답에는 이름 옆 직함("송동현 부장님")이 라벨되어 있지 않아 과잉으로 집계된다. 실제 과잉은 이보다 작다.
속도(Intel Core Ultra 7, 2스레드, GPU 없음): 1만 자 4.15초, 채팅 한 줄 16.6ms, 작업 집합 약 280MB. PyTorch 모델과의 스팬 일치 F1 99.0%.
용도와 한계
- 용도: 외부 AI에 글을 보내기 전 기기 안에서 개인정보를 가리고, 답을 되돌리는 가명화 보조.
- 한계: 처음 보는 기관명·별명 누락, 일반 언급 지명·사람 없는 글의 민감 낱말 과잉. 합성 데이터 위주로 학습·평가했다. 법적 판단이나 완전한 비식별화를 보장하지 않는다. 중요한 문서는 사람이 확인한다.
사용
이 저장소에는 모델 파일만 있습니다. 실행 코드는 github.com/locon-team/ko-pii-mask의 파이썬 꾸러미 ko-pii-mask를 씁니다(PyTorch 불필요).
pip install git+https://github.com/locon-team/ko-pii-mask huggingface_hub
from huggingface_hub import snapshot_download
from ko_pii_mask import PiiDetector
path = snapshot_download("locon-team/ko-pii-mask-base")
det = PiiDetector(path)
masked, table = det.mask("김민수 고객님, 010-2345-6789로 연락드릴게요.")
# "[PERSON_1] 고객님, [PHONE_1]로 연락드릴게요."
라이선스와 출처
Apache License 2.0(LICENSE). 사용한 공개 모델·데이터의 출처 표기는 NOTICE에 있습니다.