๋ชจ๋ธ ์นด๋ โ ko-pii-mask-base (v0.1)
๊ฐ์
- ๊ณผ์ : ํ๊ตญ์ด ๊ฐ์ธ์ ๋ณด ๊ฐ์ฒด ํ์ง(ํ ํฐ ๋ถ๋ฅ, BIO 57ํ๊ทธ = 28์ ํ ร B/I + O)
- ๋ฐํ ๋ชจ๋ธ:
monologg/koelectra-base-v3-discriminator(Apache-2.0), 12์ธตยท768์ฐจ์, ์ฝ 1์ต 1์ฒ๋ง ํ๋ผ๋ฏธํฐ - ๋ฐฐํฌ ํ์: ONNX, ๋์ 8๋นํธ(์ฑ๋๋ณ). FFN ์ถ๋ ฅ์ธต 12๊ฐ๋ ํ์ฑ์ fp32๋ก ๊ณ์ฐํ๊ณ ๊ฐ์ค์น๋ง 8๋นํธ๋ก ์ ์ฅํ๋ค โ ์ด ์ธต๊น์ง ํ์ฑ์ 8๋นํธ๋ก ์ค์ด๋ฉด ํ์ฑ ์ด์์น ๋๋ฌธ์ ์ ํ๋๊ฐ ํฌ๊ฒ ๋จ์ด์ก๋ค(๋๋ฝ๋ฅ 0.7% โ 15.9%).
- ํ์ผ:
model_int8w8.onnx(์ฝ 108MB),tokenizer.json,tags.json
ํ์ต ๋ฐ์ดํฐ
- ์์ฒด ํฉ์ฑ ์์ฑ๊ธฐ๋ก ๋ง๋ ํ๊ตญ์ด ๋ฌธ์(๋ฌธ์ยท์ฑํ ยท๋ฉ์ผยท์๋ดยท์์ ๋ฑ). ๊ฐ์ธ์ ๋ณด ๊ฐ์ ๋ชจ๋ ์์ฑ๊ธฐ๊ฐ ๋ง๋ ๊ฐ์ง ๊ฐ์ด๋ฉฐ, ์๋ณ๋ฒํธ๋ ์ผ๋ถ๋ฌ ์ฒดํฌ์ฌ์ด ํ๋ฆฌ๊ฒ ๋ง๋ ๋ค.
- ai4privacy/pii-masking-openpii-1.5m ์ ํ๊ตญ์ด ๋ถ๋ถ (CC-BY-4.0)
- 1T/veil-pii-ko-synth ์ ๋น์นธ ํ (Apache-2.0) โ ๊ฐ์ ์์ฒด ์์ฑ๊ธฐ๋ก ์ฑ์
- AI Hub ใ๋ฏผ์(์ฝ์ผํฐ) ์ง์-์๋ต ๋ฐ์ดํฐใยทใ๋ฏผ์ ์ ๋ฌด ํจ์จ, ์๋ํ๋ฅผ ์ํ ์ธ์ด AI ํ์ต๋ฐ์ดํฐใ์ ๋ํ ํ โ ๊ฐ๋ฆผ ํ์๋ฅผ ๋น์นธ์ผ๋ก ์ฎ๊ธฐ๊ณ ๊ฐ์ ์์ฒด ์์ฑ๊ธฐ๋ก ์ฑ์. ์๋ณธ์ ๋ฐฐํฌํ์ง ์๋๋ค.
ํ๊ฐ (๋ค์ฒ๋ฆฌ ํฌํจ, ์ด ์ ์ฅ์์ PiiDetector ๊ธฐ๋ณธ ์ค์ )
| ์ | ๋ฌด์ | ํ๋๋ผ๋ ๋์น ๋น์จ | ๊ณผ์ ๊ฐ๋ฆผ์ด ์๋ ๋น์จ |
|---|---|---|---|
| KDPII ์ํ ๋ถํ (์ธ๋ถ, CC-BY-4.0) | ์ค์ ๋งํฌ ๋ํ | 22.3% (๋ฐํ ๊ธฐ์ค) | 7.4% |
| openpii ์ํ ๋ถํ | ๋ฒ์ญยทํฉ์ฑ ๋ฌธ์ | 1.9% | 7.2% |
| ํฉ์ฑ ์ ๋ฌด ๋ฌธ์ยท๋ฉ์ผยท์ฑํ ยท์๋ด | 6๊ฐ ์ 2,100๊ฑด | 1.3~10.0% | 37~53%* |
| ์ฒ์ ๋ณด๋ ๊ธฐ๊ด ์ ํ ํฉ์ฑ ์ | 600๊ฑด | 3.8% | 15.5% |
| ๊ฐ์ธ ๋ฌธ๋งฅ ์ง๋ช ์ | 200๋ฌธ์ฅ | ๊ฐ์ธ ์ง๋ช 94% ์ก์ | ์ผ๋ฐ ์ง๋ช 15.5%๋ฅผ ํจ๊ป ๊ฐ๋ฆผ |
* ์ด ์ ๋ค์ ์ ๋ต์๋ ์ด๋ฆ ์ ์งํจ("์ก๋ํ ๋ถ์ฅ๋")์ด ๋ผ๋ฒจ๋์ด ์์ง ์์ ๊ณผ์์ผ๋ก ์ง๊ณ๋๋ค. ์ค์ ๊ณผ์์ ์ด๋ณด๋ค ์๋ค.
์๋(Intel Core Ultra 7, 2์ค๋ ๋, GPU ์์): 1๋ง ์ 4.15์ด, ์ฑํ ํ ์ค 16.6ms, ์์ ์งํฉ ์ฝ 280MB. PyTorch ๋ชจ๋ธ๊ณผ์ ์คํฌ ์ผ์น F1 99.0%.
์ฉ๋์ ํ๊ณ
- ์ฉ๋: ์ธ๋ถ AI์ ๊ธ์ ๋ณด๋ด๊ธฐ ์ ๊ธฐ๊ธฐ ์์์ ๊ฐ์ธ์ ๋ณด๋ฅผ ๊ฐ๋ฆฌ๊ณ , ๋ต์ ๋๋๋ฆฌ๋ ๊ฐ๋ช ํ ๋ณด์กฐ.
- ํ๊ณ: ์ฒ์ ๋ณด๋ ๊ธฐ๊ด๋ช ยท๋ณ๋ช ๋๋ฝ, ์ผ๋ฐ ์ธ๊ธ ์ง๋ช ยท์ฌ๋ ์๋ ๊ธ์ ๋ฏผ๊ฐ ๋ฑ๋ง ๊ณผ์. ํฉ์ฑ ๋ฐ์ดํฐ ์์ฃผ๋ก ํ์ตยทํ๊ฐํ๋ค. ๋ฒ์ ํ๋จ์ด๋ ์์ ํ ๋น์๋ณํ๋ฅผ ๋ณด์ฅํ์ง ์๋๋ค. ์ค์ํ ๋ฌธ์๋ ์ฌ๋์ด ํ์ธํ๋ค.
์ฌ์ฉ
์ด ์ ์ฅ์์๋ ๋ชจ๋ธ ํ์ผ๋ง ์์ต๋๋ค. ์คํ ์ฝ๋๋ github.com/locon-team/ko-pii-mask์ ํ์ด์ฌ ๊พธ๋ฌ๋ฏธ ko-pii-mask๋ฅผ ์๋๋ค(PyTorch ๋ถํ์).
pip install git+https://github.com/locon-team/ko-pii-mask huggingface_hub
from huggingface_hub import snapshot_download
from ko_pii_mask import PiiDetector
path = snapshot_download("locon-team/ko-pii-mask-base")
det = PiiDetector(path)
masked, table = det.mask("๊น๋ฏผ์ ๊ณ ๊ฐ๋, 010-2345-6789๋ก ์ฐ๋ฝ๋๋ฆด๊ฒ์.")
# "[PERSON_1] ๊ณ ๊ฐ๋, [PHONE_1]๋ก ์ฐ๋ฝ๋๋ฆด๊ฒ์."
๋ผ์ด์ ์ค์ ์ถ์ฒ
Apache License 2.0(LICENSE). ์ฌ์ฉํ ๊ณต๊ฐ ๋ชจ๋ธยท๋ฐ์ดํฐ์ ์ถ์ฒ ํ๊ธฐ๋ NOTICE์ ์์ต๋๋ค.