python run.py
๋ฐฐ์น 1, ์ต๋ 16ํ ํฐ ๊ณ ์ ์ ๋ ฅ์ BF16 ๋ฌธ์ฅ ์ธ์ฝ๋. NPU์์ ํ ํฐ๋ณ ์๋ ์ํ๋ฅผ ์์ฑํ๊ณ ํธ์คํธ์์ ๋ง์คํฌ ํ๊ท ๊ณผ L2 ์ ๊ทํ๋ฅผ ์ ์ฉํฉ๋๋ค.
hf download softandsweet/sentence-transformers-all-minilm-l6-v2-rngd-fxbx --local-dir .๋ก ๋ฐ์ ๋ค์ tar -xf weights.tar๋ฅผ ์คํํฉ๋๋ค. Furiosa Torch/TCC 2026.4.0๊ณผ PyTorch 2.10.0+cpu๊ฐ ์ค์น๋ SDK Python์์ python -m pip install 'fxbx[weights]==0.8.3'๋ฅผ ์คํํฉ๋๋ค. MiniLM ์์ ์๋ Transformers 5.20.2๋ ํ์ํฉ๋๋ค.
25๋ฒ ์๋ฒ์์ ์ ํ๋ก์ธ์ค๋ก 8ํ ์ฌ์คํํด CPU ๊ธฐ์ค ํ์ฉ์ค์ฐจ(atol 0.03, rtol 0.02)๋ฅผ ํต๊ณผํ์ต๋๋ค. SDK CPU ํด๋ฐฑ๊ณผ ์ฌ์ปดํ์ผ์ 0๊ฑด์ ๋๋ค. ์ค์ ๋ฌธ์ฅ ๋ ๊ฐ์ ์๋ ์ํ๋ CPU ๊ธฐ์ค๊ณผ ๋์กฐํ์ต๋๋ค.
์๋ณธ ์ฒดํฌํฌ์ธํธ๋ sentence-transformers/all-MiniLM-L6-v2์ ๋๋ค. ๋ผ์ด์ ์ค๋ Apache-2.0์ ๋๋ค.
all-MiniLM-L6-v2.fxbx.merged.zip์๋ ์คํ ๊ณํ์ ์ฐ์ ๋จ๊ณ๋ฅผ SDK Runnable ํ๋๋ก ๋ฏธ๋ฆฌ ์ปดํ์ผํ ๋ฌถ์์ด ๋ค์ด ์์ต๋๋ค. ์คํ ํ์๋ฅผ 300๋ฒ์์ 14๋ฒ์ผ๋ก ์ค์์ต๋๋ค. 25๋ฒ RNGD ์๋ฒ์์ ๋ณํฉ ์ ํ๋ฅผ ํ ์ธ์
์์์ ๋ฒ๊ฐ์ ์ธก์ ํ๊ณ , ๋ณํฉ ์ชฝ์ด 3.9๋ฐฐ ๋นจ๋์ต๋๋ค. ์ด๋ ๋ค๋ฅธ ์ปดํ์ผ์ด ํจ๊ป ๋๊ณ ์์์ต๋๋ค. ๋ ๊ฒฐ๊ณผ ๋ชจ๋ CPU ๊ธฐ์ค ํ์ฉ์ค์ฐจ๋ฅผ ํต๊ณผํ์ต๋๋ค.
all-MiniLM-L6-v2.fxbx์ ๋ฐ๋์ง ์์์ต๋๋ค.fxbx run์ ๊ฐ์ ์ปค๋ฐ์์ ์ด ํ์ผ์ ๋ฐ์ all-MiniLM-L6-v2.fxbx.merged/์ ํ๋๋ค. ์ด ์ ์ฅ์๋ฅผ ํต์งธ๋ก ๋ฐ์๋ค๋ฉด ๊ฐ์ ํด๋์์ ๋ค์์ ์คํํฉ๋๋ค.python -c "import zipfile; zipfile.ZipFile('all-MiniLM-L6-v2.fxbx.merged.zip').extractall('all-MiniLM-L6-v2.fxbx.merged')"
expected-0000-000.safetensors 12.4 kBinput-0000-000.safetensors 0.1 kBinput-0000-001.safetensors 0.1 kBsentence-transformers/all-MiniLM-L6-v2