Korean | English
v1.2.1, ๋ผ๋ฒจ ํ๋กํ์ผ edu-v1+fmt ยท 29ํด๋์ค BIO)mulkzz/kestrel-edu-ner-6l(v1.2.1, ๋ผ๋ฒจ ํ๋กํ์ผ edu-v1+fmt)๋ ๊ต์ฌ๊ฐ ์ธ๋ถ LLM(OpenRouter ๋ฑ)์ ํ์ ๊ธฐ๋กยท์๋ด ์ผ์งยท์ํ๊ธฐ๋ก๋ถ ์ด์ยทํ๋ถ๋ชจ ์๋ด๋ฌธ์ ๋ณด๋ด๊ธฐ ์ ์ ๊ฐ์ธ์๋ณ์ ๋ณด(PII)๋ฅผ ํ์งยท๊ฐ๋ช
ํํ๊ธฐ ์ํด ์ค๊ณ๋ ํ๊ตญ์ด ๊ต์ก ๋๋ฉ์ธ ์ ์ฉ 6์ธต ๊ฒฝ๋ ํ ํฐ ๋ถ๋ฅ(NER) ๋ชจ๋ธ์
๋๋ค. skt/A.X-Encoder-base(9708f9c, Apache-2.0)๋ฅผ 22์ธต ๊ต์ฌ ๋ชจ๋ธ(mulkzz/kestrel-edu-ner-22l@20133bbd)๋ก ๋ฏธ์ธ์กฐ์ ํ ๋ค, ์ ์ญยท๊ตญ์ ์ดํ
์
๋ฐ RoPE ์ฃผํ์๊ฐ 1:1๋ก ๋์ํ๋ 6๊ฐ ์ธต([0, 4, 9, 13, 18, 20], global_attn_every_n_layers=2)์ผ๋ก ๋ค์ค ์ ํธ ์ง์ ์ฆ๋ฅ(Logit KL + ์๋์ธต ์ฝ์ฌ์ธ ์ ๋ ฌ + ํ๋ CE)ํ๊ณ ๋ฌด์ฝ๋ ์จ๋ยท๋ง์ง ๋ณด์ ($T = 1.428$, $\delta_O = +0.225$) ๋ฐ ์ฑ๋๋ณ ๋์ INT8 ์์ํ(onnx/model_int8.onnx, 69.62 MB)๋ฅผ ์ ์ฉํ์ต๋๋ค.
๋ณธ v1.2.1 ๋ฆด๋ฆฌ์ค๋ v1.2์ 29ํด๋์ค ์ ๊ฒฝ๋ง ๊ฐ์ค์น(sha256: b8010203..., ๋ฌด์ฌํ์ต 100% ๋์ผ) ์์ ๋ฐํ์ ํ๊ตญ์ด ์กฐ์ฌยท์ด๊ฐ ํ์ฒ๋ฆฌ ๊ฒฐํจ 3๊ฑด(1์์ ํ๊ธยทํ์ ์ธ๋ช
๋ณด์กด, ๊ณต๋ฐฑ ์ฑ๋ช
์ด๊ฐ ํํ, ๋ฐ์นจ ์์ด ์กฐ๊ฑด๋ถ ์กฐ์ฌ ์ ๋จ)์ ์์ ํ์ฌ dorms-pii-ner-bench v1.1 ํต์ฌ ์ ๋ต ๋๋ฝ ๋ฌธํญ ๋น์จ์ 17.0% โ 8.4% (-8.6%p, ์์ธก McNemar $p < 0.0001$)๋ก ์ ๋ฐ ์ดํ ๊ฐ์ถํ ์ต์ ๋ฆด๋ฆฌ์ค์
๋๋ค.
main ยท v1.2.1 ยท v1.2 (ํ์ฌ ๊ธฐ๋ณธ๊ฐ): 29ํด๋์ค edu-v1+fmt ๊ฐ์ค์น ๋ฐ v1.2.1 ํ๊ฐยทํ์ฒ๋ฆฌ ๊ท๊ฒฉ์ ์ ๊ณตํฉ๋๋ค. DoRms Alias ๋ก์ปฌ ๋ธ๋ฆฌ์ง(alias-bridge) ์จ๋๋ฐ์ด์ค ๊ธฐ๋ณธ ๋ชจ๋ธ ๋ฐ ์๋ฒ pii-worker ๋น๋๊ธฐ ๋ฌด๋
ธ์ถ Shadow ๊ฒ์ฆ ๋ชจ๋ธ๋ก ์ฑํ๋์ด ์์ต๋๋ค.v1.0 ๋ธ๋์น ยท ํ๊ทธ (์๊ตฌ ๋๊ฒฐ ๊ธฐ์ค์ ): ์ต์ด ๋จ๋ฐ(Single-Shot) 9ํด๋์ค(edu-v1) ๊ธฐ์ค์ ๊ฐ์ค์น์ ๊ธฐ๋ก์ revision="v1.0"(b61b3e8231491d16dca16566ef03e34ed57fcda0)์ ๋ฌด๋ณ๊ฒฝ ์ํ๋ก ์๊ตฌ ๋ณด์กด๋ฉ๋๋ค.20133bbde74f46bee9d51dcbb937cd58683a9200)9708f9c404ace91efd25c06fac2d73413616f4ef, pad_token_id=49999, Apache-2.0)v1.2์ ๋นํธ ๋จ์ ๋์ผ ํด์):model.safetensors: ์จ๋ยท๋ง์ง ๋ณด์ ํก์ ์๋ฃ(T = 1.428, O ๋ง์ง +0.225) 6์ธต FP32 ๊ฐ์ค์น (276.42 MB, ์ด ํ๋ผ๋ฏธํฐ 69.10M / ๋น์๋ฒ ๋ฉ ํ๋ ฌ ์ฐ์ฐ ํ๋ผ๋ฏธํฐ 30.70M)onnx/model.onnx: ONNX Opset 17 FP32 ๊ธฐ์ค ๊ทธ๋ํ (276.60 MB, PyTorch ๋๋น max |ฮlogit| = 7.49e-5, argmax ์ผ์น 100.00%)onnx/model_int8.onnx: MatMul + Gemm + Gather ์ฑ๋๋ณ ๋์ INT8 ๋ฐฐํฌ ๊ทธ๋ํ (69.62 MB, 29ํด๋์ค classifier ์ ํ์ธต FP32 ๋ณด์กด)0๊ฑด, ์ธ๋ถ ์์ฉ LLM(OpenAIยทGemini/Gemma ๋ฑ) ์์ฑ๋ฌธ 0๊ฑด. ๊ฒฐ์ ๋ก ์ ๊ท์นยท์ฌ๋กฏ ๋ฌธ๋ฒ๊ณผ ๊ต์ฌ ์
๋ฌด 12์ฅ๋ฅด ๋๊ฒฐ ํ ์ํ(๋ฒค์น๋งํฌ์ ํด๋ฌ์คํฐยท8-gram ์์ ๋ถ๋ฆฌ)์์ ํฉ์ฑํ ๋ผ๋ฒจ 28,000๊ฑด + ๋ฌด๋ผ๋ฒจ 100,000๊ฑด์ผ๋ก NVIDIA L40S์์ ํ์ตยท์ฆ๋ฅํ์ต๋๋ค(9,397์คํ
, 76.12M ์ ํจ ํ ํฐ).dorms-pii-ner-bench v1.1 ์ฌํ ๋ณด์ ์ธก์ ์์ฝ (post-v1.1, n = 848๋ฌธํญ ยท 2,009 span)์ธก์ ์ฑ๊ฒฉ ๊ณ ์ง:
dorms-pii-ner-bench v1.1์v1.0๋จ๋ฐ ์ธก์ ํ ์ฌํ ์์ธ ๊ฐ์ฌ๋ฅผ ๋ฐ์ํv1.2์ฌํ์ต ๋ฐv1.2.1ํ๊ตญ์ด ์กฐ์ฌ ํ์ฒ๋ฆฌ ๊ฒฐํจ ์์ ์ ๊ฑฐ์ณ ์ฌ์ธก์ ํ์ผ๋ฏ๋ก ๋ชจ๋v1.1์์น์post-v1.1(์ฌํ ๋ณด์ ์ธก์ ) ํ๊ธฐ๋ฅผ ๋ณ๊ธฐํฉ๋๋ค. ์ด๋ ์ด๋ ฅ์ด ์ ํ ์๋ ๋ฏธ๋ ธ์ถ ํฉ์ฑ ๋จ๋ฐ ํ๊ฐ๋ ๋ณ๋ ๋๊ฒฐ๋itest_v1_2(3,000๋ฌธํญ, ํ๋จ 6์ )๋ก ๊ต์ฐจ ๊ฒ์ฆํ์ต๋๋ค.
Fig. 1 |
dorms-pii-ner-bench v1.1(post-v1.1, 848๋ฌธํญ ยท ํต์ฌ ์ ๋ต 1,693๊ฐ ยท ํ๋จ ์ ๋ณด 316๊ฐ)์์kestrel-edu-ner-6l v1.2.1(onnx/model_int8.onnx, 29 BIO)๊ณผ ํํ ๊ธฐ์ค ๋ชจ๋ธkoredact-int8(infobank-corp/koredact-bert-base-onnx-int8@a2e7696, 12์ธต BERT INT8) ๋น๊ต. a, ๊ท์น ๋จ๋ (NER disabled),๊ท์น+koredact-int8,๊ท์น+kestrel-6l v1.2.1์ ๋ฌธํญ ์์ ์ ์ค๋ฅ (1 โ ๋๋ฝ ๋ฌธํญ ๋น์จ) ๋ฐ 4๋ ํต์ฌ ์ ํ ์ฌํ์จ(Wilson 95% CI). ํต์ฌ ์ ๋ต์ด ํ๋๋ผ๋ ๋๋ฝ๋ ๋ฌธํญ ๋น์จ์ด17.0% (109/643)(๋์ผv1.2.1๋ฐํ์ ๊ธฐ์ค16.8% 108/643)์์8.4% (54/643)(์ ์ค๋ฅ91.6%)๋ก ์ ๋ฐ ์ดํ ๊ฐ์ถ๋จ(๋ถ์ผ์น27๋82, ๋ฌธํญ ๋จ์ ์ ํ ์์ธก McNemar $p < 0.0001$). b, ๋ฌธํญ ๊ตฐ์ง ๋ถํธ์คํธ๋ฉ(2,000ํ, Miller 2024arXiv:2411.00640) ์ ๋ต ์ฌํ์จ ์๋ ์ฐจ์ด: ์ ์ฒด ํต์ฌ ์ ๋ต+4.8%p [+3.1, +6.6]($p < 0.0001$; NER ๋จ๋+8.9%p [+6.7, +11.1]),ORG +63.7%p [+53.1, +74.0]($p < 0.0001$),SCHOOL +11.8%p [+5.2, +19.8]($p = 0.0020$; NER ๋จ๋19.4% โ 96.8%),PERSON +0.5%p [-1.0, +2.1]($p = 0.8939$,96.1% โ 96.6%),ADDRESS -1.8%p [-5.8, +0.0]($p = 1.0000$, ๋๋ก๋ช96.0%). c,docURL_ID(100%), ๊ฒฐํฉ ํธ์นญD5(100%), ๋ก๋ง์ ์ธ๋ช (100%), 1์์ ์ธ์ ํ๊ธ(98.4%), ๋๋ก๋ช ์ฃผ์(96.0%), ๋์ด ์ด ์ฑ๋ช (95.0%), ์ ์นญ(75.4% โ 90.2%),PERSON๋ฑ ๋ง์ ๊ฒฝ๊ณ(87.7% โ 92.0%) ๋ฑ ์ ์ธ๋ถ ์ฌ๋ผ์ด์ค ์ฐ์ธ ํ์ธ. d, ์ฐจ๋จ ๋ชจ๋ ํ๊ฐ์ (holdout_w12/w13/w13b/w13c,teacher_eval)์ ๋ฌด๋ช ์์ฒญ ์ค์ฐจ๋จ์จ ์ผ์ ๊ฐ์ ๋ฐpost-v1.1๋ฌดํด ๋ฌธํญ ์คํ๋ฅ14.8% (18/122)(koredact16.4%ํํ) ๋ฌ์ฑ.
Fig. 2 |
v1.2.1์์ํ ๋๋ฑ์ฑ(FP32 ๋ INT8), CPU ์ถ๋ก ์ง์ฐยท๋ฉ๋ชจ๋ฆฌ ์ค์ธก, 4์ค ์ฑํ ๊ฒ์ดํธ ์ด๊ดํ. a,onnx/model.onnx(FP32,276.60 MB) ๋onnx/model_int8.onnx(int8_pc_gather,69.62 MB) ๋น๊ต: ๋ฌธํญ ์ ์ค๋ฅ91.1% โ 91.6%($p = 0.2500$), ๊ณ ์ ๊ฐ ํต์ฌ ์ฌํ์จ ์ฐจ์ด+0.1%p [-0.1, +0.4](SCHOOL/ORG/ADDRESS$p = 1.0000$,PERSON$p = 0.5000$)๋ก 29ํด๋์ค ํ์ฅ ํ์๋ ์์ํ ์์ค์ด0์์ ์ ์ฆํจ. b, CPU ์ถ๋ก ์ง์ฐ(post-v1.1848๋ฌธํญ55.3s โ 25.5s2.17ร๊ฐ์;w13c_eval8,484๊ฑด156s โ 72s2.17ร๊ฐ์; PII Worker20kร4p5010.02s โ 4.40s; Local Bridge20kp503.84s โ 1.82s; ECIC-4ํฌ์32.0s โ 14.1s๋ก40s์ํ ํต๊ณผ). c, ๋์คํฌ ํฌ๊ธฐ(111.2 โ 69.6 MB,-37.4%) ๋ฐ ์๋น ๋ฉ๋ชจ๋ฆฌ ์์ฐ(Local Bridge436.0 MiB,PII Worker715.8 MiB). d, ์ฌ์ ๋ฑ๋ก 4์ค ๊ฒ์ดํธ ์ธ๋ถ ์ฑ์ ๋ฐ ๋ฐฐํฌ ํํฉ(alias-bridge๊ธฐ๋ณธ ๋ชจ๋ธ + ์๋ฒ ๋น๋๊ธฐ Shadow ๋ชจ๋ธ).
| ๊ตฌ๋ถ | ํ๊ฐ ์งํ (dorms-pii-ner-bench v1.1 post-v1.1, pipeline ๊ธฐ์ค) |
ํ๋ณธ ์ | ๊ท์น+koredact-int8 |
๊ท์น+kestrel-6l v1.2.1 |
์๋ ์ฐจ์ด ฮ (kestrel โ koredact) ๋ฐ ํ์ |
|---|---|---|---|---|---|
| ์ฃผ ์งํ | ํต์ฌ ์ ๋ต ๋๋ฝ ๋ฌธํญ ๋น์จ (๋ฎ์์๋ก ์ฐ์) | 643 ๋ฌธํญ | 17.0% (109/643) [14โ20] |
8.4% (54/643) [6โ11] |
-8.6%p (๋ถ์ผ์น 27 ๋ 82, McNemar $p < 0.0001$, ๋ํญ ๊ฐ์ ) |
| ๊ณ ์ ๊ฐ ํต์ฌ ์ฌํ์จ / ์ ์ฒด span ์๋ ์ฐจ์ด | 1,495 / 1,693 | 90.9% (1359/1495) |
96.3% (1439/1495) |
span +4.8%p [+3.1, +6.6] ($p < 0.0001$; NER ๋จ๋
+8.9%p) |
|
| ์ ํ๋ณ ์ฌํ์จ | PERSON ํต์ฌ ์ฌํ์จ (NER ๋จ๋
) |
1,442 span | 96.1% (94.7%) |
96.6% (95.9%) | +0.5%p [-1.0, +2.1], $p = 0.8939$ (๋จ๋
+1.2%p, ๋น์ด๋ฑยท์ํ) |
SCHOOL ํต์ฌ ์ฌํ์จ (NER ๋จ๋
) |
93 span | 86.0% (19.4%) |
97.8% (96.8%) | +11.8%p [+5.2, +19.8], $p = 0.0020$ (NER ๋จ๋
+77.4%p) |
|
ORG ์ง์ญ ๊ธฐ๊ดยทํ์ยท๋ณ์ ์ฌํ์จ (NER ๋จ๋
) |
102 span | 30.4% (30.4%) |
94.1% (93.1%) | +63.7%p [+53.1, +74.0], $p < 0.0001$ (3.1๋ฐฐ ๋์ฝ) |
|
ADDRESS ํต์ฌ ์ฌํ์จ (apt/lot/road) |
56 span | 85.7% (100/100/100%) |
83.9% (100/100/96.0%) |
-1.8%p [-5.8, +0.0], $p = 1.0000$ (๋๋ฑ์ฑ ํ๋ณต, v1.0 -12.5%p ํด์) |
|
| ์ธ๋ถ ์ผ๋ฐํ | ํ ๋ฐ ํํ / 1์์ ์ธ์(single) / ํ์(hanja) |
133 / 63 / 10 | 80.5% / 93.7% / 100.0% | 91.7% / 98.4% / 100.0% | ํ ๋ฐ +11.2%p, ์ธ์ ํ๊ธ 62/63 ํฌ์ฐฉ |
์ ์นญ(nickname) / ๋์ด ์ด ์ฑ๋ช
(spaced) / ๋ก๋ง์(roman) |
61 / 20 / 22 | 75.4% / 90.0% / 63.6% | 90.2% / 95.0% / 100.0% | ์ ์นญ +14.8%p, ๋์ด ์ด ์ฑ๋ช
19/20, ๋ก๋ง์ยท๊ฒฐํฉํธ์นญ(D5) ๋ง์ |
|
| ๊ฒฝ๊ณ ๋ฐ ์คํ | PERSON ๋ฑ ๋ง์ ๋น์จ / ์ฐ์ธก ๋์นจ ๋น์จ (NER ๋จ๋
) |
1,442 span | 87.7% / 8.8% (7.7%) |
92.0% / 4.8% (3.6%) | ์ ๋ฐ ๊ฒฝ๊ณ +4.3%p ์์น, ์ฐ์ธก ์กฐ์ฌ ๋์นจ ์ ๋ฐ ์ดํ ๊ฐ์ถ |
ADDRESS ๋ฑ ๋ง์ / ORG ๋ฑ ๋ง์ / SCHOOL ๋ฑ ๋ง์ |
56 / 102 / 93 | 57.1% / 27.5% / 84.9% | 76.8% / 93.1% / 91.4% | 4๋ ํต์ฌ ์ ํ ์ ๊ตฌ๊ฐ์์ ๊ฒฝ๊ณ ์ ๋ฐ๋ ๋ํญ ํฅ์ | |
๋ฌดํด ๋ฌธํญ(negยทamb_neg) ์คํ๋ฅ / X.echo / doc URL_ID |
122 / 6 / 9 | 16.4% (20/122) / 3 / 100% |
14.8% (18/122) / 1 / 100% |
๋ฌดํด ๋ฌธํญ ์คํ๋ฅ ์ด koredact ์๋๋ก ํ๋ฝ, URL_ID 9/9 ๋ง์ ๋ณต๊ตฌ |
v1.0 โ v1.2 โ v1.2.1 ๋จ๊ณ๋ณ ์์ธ ํด๊ฒฐ ๋ฐ ๋ฌด์ฌํ์ต ํ์ฒ๋ฆฌ ๊ฐ์ ์์ฝv1.0(9ํด๋์ค edu-v1) ๋จ๋ฐ ์ธก์ ์งํ ๊ท๋ช
๋ 5๋ ๋ฐ์ดํฐยท์คํค๋ง ๊ณผ์ ๋ฅผ v1.2(29ํด๋์ค edu-v1+fmt) ์ฌํ์ต์ผ๋ก ํด๊ฒฐํ ๋ค, v1.2 ํ๊ฐ ๊ณผ์ ์์ ๋์ผ ๊ฐ์ค์น koredact์กฐ์ฐจ ํจ๊ป ํ๋ฝ์์ผฐ๋ ๋ฐํ์ ํ๊ตญ์ด ์กฐ์ฌยท์ด๊ฐ ํ์ฒ๋ฆฌ ๊ฒฐํจ 3๊ฑด์ v1.2.1์์ ๊ฐ์ค์น ์ฌํ์ต ์์ด ๋ฐ๋ก์ก์์ต๋๋ค:
| ๋จ๊ณ | ํด๊ฒฐ ๋์ ๊ณผ์ | koredact-int8 |
kestrel v1.0 |
kestrel v1.2 |
kestrel v1.2.1 (ํ์ฌ) |
ํต์ฌ ํด๊ฒฐ ๋ฉ์ปค๋์ฆ |
|---|---|---|---|---|---|---|
v1.2 ์คํค๋ง |
์ ํ ๋ณด์กฐ ๋ผ๋ฒจ ๋ณต์ (doc URL_ID ยท teacher_eval Soft ๋๋ฝ) |
9/9 ยท 0/172 |
0/9 ยท 12/172 |
9/9 ยท 0/172 |
9/9 (100%) ยท 0/172 |
10์ข
์ ํ ๋ณด์กฐ BIO(9..28) ๋ณต์ (edu-v1+fmt, 29ํด๋์ค) |
v1.2 ํฉ์ฑ |
๋๋ก๋ช
์ฃผ์ ", N์ธต" ์ผํ ๋ถ์ (ADDRESS / road) |
85.7% / 100% |
73.2% / 72.0% |
83.9% / 96.0% |
83.9% / 96.0% ($p=1.00$) |
์ผํ ์ธต์ยท๋์ด์ด ๋๋ก๋ช
ํฉ์ฑ ๋ณด๊ฐ (tight 57.1% โ 76.8%) |
v1.2 ํฉ์ฑ |
๋ฌดํด ๋ฌธํญ(negยทamb_neg) ๊ต๊ณผ ์ผ๋ฐ๋ช
์ฌ ์คํ |
16.4% (20/122) |
27.0% (33/122) |
14.8% (18/122) |
14.8% (18/122) |
๊ต๊ณผ ๊ฐ๋
์ดยท๊ต์ค ์ฌ๋ฌผ ์์ฑ ๋์กฐ ๊ฐํ (X.echo 3/6 โ 1/6) |
v1.2.1 ํ์ฒ๋ฆฌ 1 |
1์์ ์ธ์ ํ๊ธยทํ์ ์ธ๋ช
์ ์ญ (PERSON single / hanja) |
93.7% / 100% |
96.8% / 100% |
74.6% / 90.0% |
98.4% (62/63) / 100% |
๋ถ์ฉ ๋๋ช
์ฌ(์ด/๊ทธ/์ /์) ์ธ 1๊ธ์ ํ๊ธยทCJK ํ์ PERSON ๋ณด์กด |
v1.2.1 ํ์ฒ๋ฆฌ 2 |
๋์ด ์ด ์ฑ๋ช
์ด๊ฐ ์ ๋จ ("๋ฐ ๋ฏธ๋", PERSON spaced) |
90.0% (18/20) |
20.0% (4/20) |
90.0% (18/20) |
95.0% (19/20) |
๊ณต๋ฐฑ ์ ์ธ ์ด๊ฐ ๊ธธ์ด ํํ ๊ณ์ฐ ๋ฐ ๊ณต๋ฐฑ ๋ค ํธ์นญ ์ ๋ฏธ(์จ/๋/๊ตฐ/์)๋ง ๋ถ๋ฆฌ |
v1.2.1 ํ์ฒ๋ฆฌ 3 |
๋ฐ์นจ ๋ฌด๊ด "-์ด" ์ ๋จ ์ถฉ๋ (nickname / PERSON tight) |
75.4% / 87.7% |
88.5% / 84.9% |
49.2% / 88.8% |
90.2% / 92.0% |
์ ํ ์์ ๋ฐ์นจ(์ข
์ฑ) ์กด์ฌ ์์๋ง ์ด/์/์/๊ณผ/์ผ๋ก ๊ณ์ด ์กฐ์ฌ ๋ถ๋ฆฌ |
| ์ข ํฉ ๊ฒฐ๊ณผ | ํต์ฌ ์ ๋ต ๋๋ฝ ๋ฌธํญ ๋น์จ / PERSON ์ ์ฒด ์ฌํ์จ |
17.0% / 96.1% |
12.3% / 95.7% |
13.5% / 93.4% |
8.4% (54/643) / 96.6% |
๋๋ฝ ๋ฌธํญ ์ ๋ฐ ์ดํ ๊ฐ์ถ (-8.6%p, ์์ธก McNemar $p < 0.0001$) |
D1=B ยท D2 ยท D5):D1=B): ์์
์๋ฃ ์ ์ญ์ฌ ์ธ๋ฌผยท์๊ฐยท๋ฌธํ ๋ฑ์ฅ์ธ๋ฌผ("์ค๋์ฃผ ์์ธ์ ์์", "ํ๊ธธ๋์ ")์ O๋ก ์ ์งํ๋, ๋๋ช
์ด์ธ ์ค์ ํ์("2ํ๋
3๋ฐ ์ค๋์ฃผ ํ์ ์๋ด")์ PERSON์ผ๋ก ์ก๋๋ก ๋์ผ ์ธ๋ช
์์
๋ฌธ๋งฅ(O) ๋ ํ์ ๋ฌธ๋งฅ(PERSON) ๋์กฐ ์์ ๊ฐ์ ๋ฏธ๋๋ฐฐ์น์ ๊ตฌ์ฑํ์ต๋๋ค(teacher_eval ๊ณต์ธ ์ค์ฐจ๋จ 85.6% โ 14.4%, holdout_w13c ๊ณต์ธ ์์
๋ํ ์ค์ฐจ๋จ 56.5% โ 34.8%, $p = 0.0020$).์ฑ+์งํจ ๋น๊ฐ์ฒด (D2): ๊ต์ก๋ถยท๋์ด์ค(NEIS)ยทEBS ๋ฑ ์ ๊ตญ ๋จ์ ๊ณต์ ์ฒด๊ณ์ "๊น ์ ์๋"๋ฅ 1๊ธ์ ์ฑ+ํธ์นญ์ O๋ก ๋์ด ๊ต์ฌ ํ๋กฌํํธ ์์์ ๋ง์ต๋๋ค.D5): "์์๋ง", "๋ฏผ์คํ์"์์ ์ด๋ฆ ๋ณธ์ฒด("์์", "๋ฏผ์ค")๋ง PERSON์ผ๋ก ํ์ตํ๊ณ ์กฐ์ฌ ๋ถ๋ฆฌ BIO ์ ๋ ฌ(particle_aware)์ ์ ์ฉํด ๊ฒฐํฉ ํธ์นญ ์ฌํ์จ 100.0% (22/22) ๋ฅผ ๋ฌ์ฑํ์ต๋๋ค.backbone.py):transformers์ ModernBertAttention์ layer_id % global_attn_every_n_layers == 0 ์์์ผ๋ก ์ ์ญ ์ดํ
์
(rope_theta=160,000)๊ณผ ๊ตญ์ ์ฌ๋ผ์ด๋ฉ ์ดํ
์
(local_attention=128, rope_theta=10,000)์ ๊ฒฐ์ ํฉ๋๋ค.global_attn_every_n_layers=2๋ก ์ค์ ํ์ฌ [์ ์ญ, ๊ตญ์, ์ ์ญ, ๊ตญ์, ์ ์ญ, ๊ตญ์] ๊ตฌ์กฐ๋ฅผ ๋ง๋ค๊ณ , 22์ธต ๊ต์ฌ์ (0, 4, 9, 13, 18, 20)๋ฒ ์ธต์ 1:1 ๋ณต์ ํด trust_remote_code=False ํ์ค ๋ก๋์์๋ RoPE inv_freq์ ์ดํ
์
์ฐฝ์ด ์ ํํ ์ผ์นํฉ๋๋ค(๋น์๋ฒ ๋ฉ ์ฐ์ฐ ํ๋ผ๋ฏธํฐ 110.94M โ 30.70M, -72.3%).Stage 2):28,000๊ฑด($\alpha=0.3$)๊ณผ ๋ฌด๋ผ๋ฒจ ํฉ์ฑ ๊ต์ก ๋ฌธ์ 100,000๊ฑด($\alpha=0.0$)์ ๋ํด ์จ๋ $\tau = 3.0$ ๋ก์ง KL ๋ฐ์ฐ๊ณผ 6๊ฐ ๋์ ์ธต ์๋ ํํ ์ฝ์ฌ์ธ ์์ค($\beta = 0.2$)์ ๊ฒฐํฉํด NVIDIA L40S์์ ํ์ตํ์ต๋๋ค(9,397์คํ
, ๋์ ์ ํจ ํ ํฐ 76.12M, 1.5์ํญ step=4,025 ์ต์ ์ฑํ).dev_v1_2(3,000๊ฑด, ์ ํจ ํ ํฐ 392,794๊ฐ)์์ ํ ํฐ NLL์ ์ต์ํํ๋ ์จ๋ $T = 1.428$(NLL 0.01555 โ 0.01262, ECE 0.00229 โ 0.00099, -56.6%)๊ณผ O ๋ก์ง ๋ง์ง $\delta_O = +0.225$๋ฅผ ์ ํ ๋ถ๋ฅ๊ธฐ ๊ฐ์ค์น(W /= T, b /= T, b[0] += delta_O)์ ์ง์ ํก์ํด ์ถ๋ก ์ argmax๋ง์ผ๋ก ๋ณด์ ์ด ์ ์ฉ๋ฉ๋๋ค(max |ฮlogit| = 2.86e-6, argmax ์ผ์น 100.0%).onnxruntime ๋์ ์์ํ ์ MatMul + Gemm + Gather(5๋ง ์ดํ ์๋ฒ ๋ฉ ํฌํจ)๋ง ์ฑ๋๋ณ QInt8๋ก ์์ํํ๊ณ ๋ง์ง๋ง 29ํด๋์ค classifier ๋
ธ๋๋ FP32๋ก ๋ณด์กดํด 69.62 MB ์ฉ๋๊ณผ FP32 ๋๋ฑ ์ ํ๋๋ฅผ ๋ฌ์ฑํ์ต๋๋ค.edu-v1+fmt, 29ํด๋์ค BIO) ๋ฐ ์
์ถ๋ ฅ ๊ท๊ฒฉ| ID | config.json BIO ๋ผ๋ฒจ |
์ค๋ช | ๋ฐํ์ ์ ์ฑ ๋งคํ ๋ฐ ๋น๊ณ |
|---|---|---|---|
0 |
O |
๋น๊ฐ์ฒดยท์ผ๋ฐ ์ดํยท์กฐ์ฌ | ๊ต๊ณผ ๊ณต์ธ/๋ฌธํ ์ธ๋ฌผ(D1=B), ์ ๊ตญ ๊ณต์ ๊ธฐ๊ดยท๊น ์ ์๋(D2) |
1, 2 |
B-PERSON, I-PERSON |
ํ์ยทํ๋ถ๋ชจยท๊ต์ง์ ์ค๋ช , ์ธ์ยทํ์ยท์ ์นญยท๋ก๋ง์ยท์ธ๋ ์ธ๋ช | PERSON (ํต์ฌ ๋น์ ํ, ์กฐ์ฌยทํธ์นญ ์ ์ธ ๋ณธ์ฒด ์ ๋ ฌ) |
3, 4 |
B-SCHOOL, I-SCHOOL |
์ ์น์ยท์ดยท์คยท๊ณ ยทํน์ํ๊ตยท๋ํ๊ต ์ ์ ๊ต๋ช
๋ฐ ์ฝ์นญ(ํ๋น์ด) |
SCHOOL (ํต์ฌ ๋น์ ํ, ์ฐ๋ฆฌ ํ๊ต ๋ฑ ๋ณดํต๋ช
์ฌ ์ ์ธ) |
5, 6 |
B-ORG, I-ORG |
์ง์ญ ํ์ยท๊ต์ต์ยท์๋ด์ผํฐยท๋ณ์์ยท์ง์ญ ๋ณต์ง๊ดยท๋ณดํธ์ ์ง์ฅ๋ช | ORG (ํต์ฌ ๋น์ ํ, ์ ๊ตญ ๊ณต์ ๊ธฐ๊ด ์ ์ธ) |
7, 8 |
B-ADDRESS, I-ADDRESS |
๋๋ก๋ช (์ผํ ์ธต์ ํฌํจ)ยท์ง๋ฒยท์ํํธ ๋/ํธ์ยท์์ธ ๊ฑฐ์ฃผ์ง ์ฃผ์ | ADDRESS (ํต์ฌ ๋น์ ํ, ์/๊ตฌ ๋จ๋
ํ๊ธฐ ์ ์ธ) |
9, 10 |
B-PHONE, I-PHONE |
์ ๋ฌด์ ์ ํ๋ฒํธยท๋ณ์น ๊ตฌ๋ถ์ ๋ฒํธ | PHONE (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
11, 12 |
B-EMAIL, I-EMAIL |
์ด๋ฉ์ผ ์ฃผ์ | EMAIL (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
13, 14 |
B-RRN, I-RRN |
์ฃผ๋ฏผ๋ฑ๋ก๋ฒํธยท์ธ๊ตญ์ธ๋ฑ๋ก๋ฒํธ | RRN (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
15, 16 |
B-PASSPORT, I-PASSPORT |
์ฌ๊ถ ๋ฒํธ | DoRms Alias ๋ฐํ์์์ RRN ๊ณ ์ํ ์ ๋ถ์ฆ ๊ตฐ์ผ๋ก ํตํฉ |
17, 18 |
B-DRIVER_LICENSE, I-DRIVER_LICENSE |
์ด์ ๋ฉดํ๋ฒํธ | DoRms Alias ๋ฐํ์์์ RRN ๊ณ ์ํ ์ ๋ถ์ฆ ๊ตฐ์ผ๋ก ํตํฉ |
19, 20 |
B-ACCOUNT, I-ACCOUNT |
์ํ ๊ณ์ข๋ฒํธ | ACCOUNT (์ ํ 2์ฐจ ๋ฐฉ์ด์ ) |
21, 22 |
B-CARD, I-CARD |
์นด๋๋ฒํธ | DoRms Alias ๋ฐํ์์์ ACCOUNT ๊ธ์ต ์๋ณ์ ๊ตฐ์ผ๋ก ํตํฉ |
23, 24 |
B-BRN, I-BRN |
์ฌ์ ์๋ฑ๋ก๋ฒํธ | DoRms Alias ๋ฐํ์์์ ACCOUNT ๊ธ์ต ์๋ณ์ ๊ตฐ์ผ๋ก ํตํฉ |
25, 26 |
B-URL, I-URL |
ํ๊ต ์๋ฆผ์ฅยทํ๊ธ ๋ฌธ์ยท๊ฐ์ธ ์๋ณ URL | DoRms Alias ๋ฐํ์์์ URL_ID๋ก ๋งคํ (doc 9/9 ํฌ์ฐฉ) |
27, 28 |
B-CODE, I-CODE |
์์ ๋น๋ฐ๋ฒํธยท์ด๋์ฝ๋ยท์ธ์ฆ ์ํฌ๋ฆฟ | DoRms Alias ๋ฐํ์์์ SECRET์ผ๋ก ๋งคํ |
v1.2.1):pad_token_id = 49999): skt/A.X-Encoder-base ํ ํฌ๋์ด์ ์ [PAD] ID๋ 0('[CLS]')์ด ์๋ 49999 ์
๋๋ค. ์๋ ๋ฐฐ์น ๊ตฌ์ฑ ์ ๋ฐ๋์ 49999๋ก ํจ๋ฉํ์ญ์์ค.W-400) ๋ฐ O -> I-* ๋ณต์: ๊ธด ๋ฌธ์๋ ์๋ฅด์ง ๋ง๊ณ 400์ ์ฐฝ / 100์ ๊ฒน์นจ(max_tokens=512, batch_size=8)์ผ๋ก ์ถ๋ก ํ ๋ค, ๋จ๋
I-TYPE ์์ ํ ํฐ์ B-TYPE์ผ๋ก ์น๊ฒฉํด ๋ณํฉํฉ๋๋ค.v1.2.1 ๊ถ์ฅ): PERSON ์คํฌ ์ฐ์ธก์ ๊ฒฐํฉ๋ ์กฐ์ฌ๋ฅผ ์ ๋ฆฌํ ๋ ์/์/๊ณผ/์ผ๋ก/์ด/์ด๊ฐ/์ด๋/์ด๋ฅผ/์ด์/์ด์/์ด๋ ๋ฑ ๋ฐ์นจ ์์กด ์กฐ์ฌ๋ ์ง์ ํ๊ธ ์์ ์ ๋ฐ์นจ(์ข
์ฑ)์ด ์์ ๋๋ง ์ ๊ฑฐํ๊ณ , ๊ณต๋ฐฑ ํฌํจ ์ฑ๋ช
์ ๊ณต๋ฐฑ์ ์ ์ธํ ์์ ์ ๊ธฐ์ค์ผ๋ก ์ต์ ์ด๊ฐ ๊ธธ์ด๋ฅผ ํ์ ํ์ญ์์ค.onnx/model_int8.onnx)import json
import numpy as np
import onnxruntime as ort
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-6l"
REV = "v1.2.1" # ๋๋ ๊ธฐ๋ณธ ๋ธ๋์น "main"
cfg = json.loads(open(hf_hub_download(REPO_ID, "config.json", revision=REV), encoding="utf-8").read())
tok = Tokenizer.from_file(hf_hub_download(REPO_ID, "tokenizer.json", revision=REV))
tok.no_truncation()
tok.no_padding()
so = ort.SessionOptions()
so.intra_op_num_threads = 2
so.inter_op_num_threads = 1
session = ort.InferenceSession(
hf_hub_download(REPO_ID, "onnx/model_int8.onnx", revision=REV),
so,
providers=["CPUExecutionProvider"],
)
text = "๋ณ๋น๊ณ ๋ฐ ๋ฏธ๋ ํ์๊ณผ ์ด๋กฑ์ด๊ฐ ํด์ค๋ฆ์๋ด์ผํฐ(๋ฌผ์๊ฐ๋ก 58, 1์ธต)์ ๋ฐฉ๋ฌธํ๋ค."
enc = tok.encode(text)
pad_id = int(cfg.get("pad_token_id", 49999))
ids = np.full((1, len(enc.ids)), pad_id, dtype=np.int64)
mask = np.ones((1, len(enc.ids)), dtype=np.int64)
ids[0, :] = enc.ids
logits = session.run(None, {"input_ids": ids, "attention_mask": mask})[0][0]
pred_ids = logits.argmax(axis=-1).tolist()
id2label = {int(k): v for k, v in cfg["id2label"].items()}
spans = []
cur_type, cur_s, cur_e = None, 0, 0
for tid, (s, e), sp in zip(pred_ids, enc.offsets, enc.special_tokens_mask):
tag = "O" if sp or e <= s else id2label[tid]
if tag == "O":
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
cur_type = None
continue
prefix, etype = tag.split("-", 1)
if prefix == "B" or cur_type != etype:
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
cur_type, cur_s, cur_e = etype, s, e
else:
cur_e = e
if cur_type:
spans.append((cur_type, cur_s, cur_e, text[cur_s:cur_e]))
print(spans)
model.safetensors)import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
REPO_ID = "mulkzz/kestrel-edu-ner-6l"
REV = "v1.2.1"
tokenizer = AutoTokenizer.from_pretrained(REPO_ID, revision=REV)
model = AutoModelForTokenClassification.from_pretrained(REPO_ID, revision=REV).eval()
text = "์ค๋์ฃผ ์์ธ์ ์์๋ฅผ ๋ฐฐ์ด ๋ค ๋๋ช
์ด์ธ ์ค๋์ฃผ ํ์์ ๋
์ ๊ธฐ๋ก์ ์์ฑํ๋ค."
inputs = tokenizer(text, return_offsets_mapping=True, return_tensors="pt")
offsets = inputs.pop("offset_mapping")[0].tolist()
with torch.no_grad():
pred = model(**inputs).logits[0].argmax(dim=-1).tolist()
for pid, (s, e) in zip(pred, offsets):
if e > s and pid != 0:
print(model.config.id2label[pid], text[s:e], (s, e))
v1.2.1์ ์๋ ค์ง ์์ฌ ํ๊ณ ๋ฐ ๋ฐฐํฌ ์์น (ํฌ๋ช
๊ณต๊ฐ):dorms-pii-ner-bench v1.1์์ ๋ฌดํด ๋ฌธํญ(negยทamb_neg) ์คํ๋ฅ ์ 14.8%๋ก koredact(16.4%)๋ณด๋ค ๋ฎ์ผ๋, ์์ฑ ๋ฌธํญ ๋ด ๋ถ์ ์คํ์ ํฌํจํ ์ ์ฒด 848๋ฌธํญ 1๋ง ์๋น ์คํ(20.3 ๋ 13.4, ๋จ๋
12.7 ๋ 5.8), ๋ฐ๋ก word ์ ์ค 4/89 (4.5%)(์ด์ฌ, ๋จ๋น), ๋ณดํต๋ช
์ฌ ๋ํ์ด์ ์ธ๋ช
(amb ๊ฐ๋ 83.3% ๋ 94.7%)์์ ์ธ๋ถ ๊ฒฉ์ฐจ๊ฐ ๋จ์ ์์ต๋๋ค.koredact๋ณด๋ค ๋ฎ์ผ๋(townboy_eval 25.6% โ 24.3%, townboy_dev 8.0% โ 6.7%, kdpii_test 43.8% โ 40.8%), ๋น๊ต์ก ์ผ๋ฐ ๊ธ์ตยท์ฌ๊ถ ๋ฒํธ Soft ๋๋ฝ(townboy_eval 0.8% 5/605, kdpii_test 34.8%)๊ณผ ๋ฌธ๋งฅ ์์ด ์ฌ๋ฌ ํด์ ์ชผ๊ฐ ์ซ์(w13c split)๊ฐ ๋จ์ ์์ต๋๋ค. ์ด์ ๋ฐ๋ผ ์ฌ์ ๋ฑ๋ก 4์ค ๊ฒ์ดํธ ์์น์ ์๊ฒฉํ ์ ์ฉํด ์จ๋๋ฐ์ด์ค alias-bridge ๊ธฐ๋ณธ ๋ชจ๋ธ ๋ฐ ์๋ฒ ๋น๋๊ธฐ Shadow ๋ชจ๋ธ๋ก ์ฐ์ ์ด์ํ๋ฉฐ ์๋ฒ ์ฃผ ๊ธฐ๋ณธ๊ฐ ๊ต์ฒด ์ฌ๋ถ๋ ํ์ฅ Shadow ์ง๊ณ ํ ๊ฒฐ์ ํฉ๋๋ค.townboy/korean-pii-dataset (076419f07f7073b6b28cdfdb6fbd8b75e1278053, CC BY 4.0, ํฉ์ฑ ๋ฐ์ดํฐ์
)KDPII ์ํ ๋ถํ (Zenodo 10968609, CC BY 4.0, ์ฐ์ธ๋ํ๊ต ์ฐ๊ตฌ์ง, IEEE Access, vol. 12, 2024, doi:10.1109/ACCESS.2024.3461804) โ ์ค์ง ์ฝ๊ธฐ ์ ์ฉ ์ง๊ณ ํ๊ฐ์๋ง ์ฌ์ฉํ์ผ๋ฉฐ, ์๋ฌธ ํ์ด๋ ๋ถ๋ถ ๋ฌธ์์ด์ ๊ฐ์ค์นยท์ฝ๋ยทfigures/data/ ์ด๋์๋ ํฌํจ๋์ง ์์ต๋๋ค.NOTICE ์ฐธ์กฐ).dev_v1_2 ยท ๋จ๋ฐ itest_v1_2) ์์ธ ์งํFig. 3 | Stage 1 22์ธต ๊ต์ฌ ๋ฏธ์ธ์กฐ์ ยท Stage 2 6์ธต ํ์ ๋ค์ค ์ ํธ ์ฆ๋ฅ ๋์ญํ ๋ฐ ๋ฏธ๋ ธ์ถ ๋จ๋ฐ
itest_v1_2๊ฒ์ฆ. a, 22์ธต ๊ต์ฌ(3,573์คํ ,14.88Mํ ํฐ, 29 BIO)์ ์คํ ๋ณ ํ์ต ์์ค๊ณผ 0.5์ํญ ์ฃผ๊ธฐdev_v1_2์์ค(1.5์ํญstep=1,783์ต์ ์ฑํ,selection_score=1.7843). b, 6์ธต ํ์(9,397์คํ ,76.12Mํ ํฐ, ๋ผ๋ฒจ 28k + ๋ฌด๋ผ๋ฒจ 100k)์ ์ด ์ฆ๋ฅ ์์ค, $\tau^2\mathrm{KL}$ ๋ฐ์ฐ, ์๋ ์ฝ์ฌ์ธ ์์ค($1-\cos$),dev_v1_2์์ค(1.5์ํญstep=4,025์ต์ ์ฑํ,selection_score=1.7481). c, ์ ๊ทํ ์งํ๋ฅ ๋๋น ๊ฒฝ์ฌ $L_2$ ๋ ธ๋ฆ($|g|_2$) ์๋ ด ์ถ์ด. d, ๋ด๋ถdev_v1_2(3,000๊ฑด) ๋ฐ ๋ฏธ๋ ธ์ถ ํยท์ํฐํฐ ํ๋ก ๊ตฌ์ฑ๋ ๋จ๋ฐitest_v1_2(3,000๊ฑด)์ 22์ธต ๊ต์ฌ ๋ 6์ธต ๋ณด์ ํ์ ๋น๊ต(ํฉ์ฑ ๋ถํฌ ๋ด ์งํ์ด๋ฏ๋ก ์ค์ ์ผ๋ฐํ ์ฑ๋ฅ์ ์ 1์ ์dorms-pii-ner-bench v1.1์ ๊ธฐ์ค์ผ๋ก ํด์ํด์ผ ํจ).
dev_v1_2, n = 3,000)ํ๊ฐ ์์ (epoch) |
๊ธ๋ก๋ฒ ์คํ | ๋์ ์ ํจ ํ ํฐ | dev_loss |
selection_score |
macro_core_recall |
formal_recall |
public_person_fp |
๋น๊ณ |
|---|---|---|---|---|---|---|---|---|
| 0.5 | 1,343 | 10.92M | 0.01486 | 1.7376 | 98.21% | 100.00% | 27.39% | ์ด๊ธฐ ์๋ ด |
| 1.0 | 2,682 | 21.72M | 0.02027 | 1.7070 | 98.02% | 100.00% | 27.39% | no_imp=1 |
| 1.5 | 4,025 | 32.53M | 0.01548 | 1.7481 | 98.27% | 100.00% | 5.61% | ์ต์ข
์ฑํ (*BEST*) |
| 2.0 | 5,366 | 43.45M | 0.01644 | 1.7363 | 98.31% | 100.00% | 12.87% | no_imp=1 |
| 2.5 | 6,706 | 54.24M | 0.01465 | 1.7358 | 98.36% | 100.00% | 10.23% | no_imp=2 |
| 3.0 | 8,052 | 65.19M | 0.01648 | 1.7216 | 98.46% | 100.00% | 16.50% | no_imp=3 |
| 3.5 | 9,397 | 76.12M | 0.01571 | 1.7227 | 98.41% | 100.00% | 15.51% | ์กฐ๊ธฐ ์ข
๋ฃ (patience=4) |
itest_v1_2 (n = 3,000) ๊ต์ฌ ๋ ํ์ ์ฑ์ (W-400, pipeline ๋ทฐ)๋ชจ๋ธ (itest_v1_2, ๋จ 1ํ ์ธก์ ) |
macro_core_recall |
overall_core_recall |
formal_recall (1,817 span) |
PERSON |
SCHOOL |
ORG |
ADDRESS |
overall_tight |
innocent_fp_item (NER) |
|---|---|---|---|---|---|---|---|---|---|
kestrel-edu-ner-22l (22์ธต ๊ต์ฌ) |
97.84% | 96.79% | 100.00% | 96.60% | 100.00% | 94.90% | 99.85% | 97.74% | 4.79% (amb_neg 1.28%) |
kestrel-edu-ner-6l (6์ธต ๋ณด์ ํ์) |
97.44% | 95.77% | 100.00% | 95.44% | 99.56% | 94.75% | 100.00% | 97.37% | 1.14% |
dev_v1_2 ์ค์ ์ฐฝ 200๊ฑด / 11,713 ์ ํจ ํ ํฐ)| ๊ทธ๋ํ ๋ณํ | ํ์ผ ๊ฒฝ๋ก | ํฌ๊ธฐ | max |ฮlogit| | p99 |ฮlogit| | argmax ์ผ์น์จ | dev_v1_2 3,000๊ฑด pipeline Macro Recall |
|---|---|---:|---:|---:|---:|---:|
| PyTorch FP32 (safetensors) | model.safetensors | 276.42 MB | ๊ธฐ์ค (0) | ๊ธฐ์ค (0) | 100% | 98.44% |
| ONNX FP32 | onnx/model.onnx | 276.60 MB | 7.49 ร 10โปโต | 7.27 ร 10โปโถ | 100.0000% | 98.44% |
| ONNX INT8-PC-Gather (์ฃผ๋ ฅ) | onnx/model_int8.onnx | 69.62 MB | 0.7832 | 0.0660 | 99.9573% | 98.45% (McNemar $p = 1.0000$) |
onnx/model.onnx 277 MBmodel.safetensors 276 MBonnx/model_int8.onnx 70 MBskt/A.X-Encoder-base