python run.py
배치 1, 최대 16토큰 고정 입력의 BF16 문장 인코더. NPU에서 토큰별 은닉 상태를 생성하고 호스트에서 마스크 평균과 L2 정규화를 적용합니다.
hf download softandsweet/sentence-transformers-all-minilm-l6-v2-rngd-fxbx --local-dir .로 받은 다음 tar -xf weights.tar를 실행합니다. Furiosa Torch/TCC 2026.4.0과 PyTorch 2.10.0+cpu가 설치된 SDK Python에서 python -m pip install 'fxbx[weights]==0.8.3'를 실행합니다. MiniLM 예제에는 Transformers 5.20.2도 필요합니다.
25번 서버에서 새 프로세스로 8회 재실행해 CPU 기준 허용오차(atol 0.03, rtol 0.02)를 통과했습니다. SDK CPU 폴백과 재컴파일은 0건입니다. 실제 문장 두 개의 은닉 상태도 CPU 기준과 대조했습니다.
원본 체크포인트는 sentence-transformers/all-MiniLM-L6-v2입니다. 라이선스는 Apache-2.0입니다.
all-MiniLM-L6-v2.fxbx.merged.zip에는 실행 계획의 연속 단계를 SDK Runnable 하나로 미리 컴파일한 묶음이 들어 있습니다. 실행 횟수를 300번에서 14번으로 줄였습니다. 25번 RNGD 서버에서 병합 전후를 한 세션 안에서 번갈아 측정했고, 병합 쪽이 3.9배 빨랐습니다. 이때 다른 컴파일이 함께 돌고 있었습니다. 두 결과 모두 CPU 기준 허용오차를 통과했습니다.
all-MiniLM-L6-v2.fxbx은 바뀌지 않았습니다.fxbx run은 같은 커밋에서 이 파일을 받아 all-MiniLM-L6-v2.fxbx.merged/에 풉니다. 이 저장소를 통째로 받았다면 같은 폴더에서 다음을 실행합니다.python -c "import zipfile; zipfile.ZipFile('all-MiniLM-L6-v2.fxbx.merged.zip').extractall('all-MiniLM-L6-v2.fxbx.merged')"
expected-0000-000.safetensors 12.4 kBinput-0000-000.safetensors 0.1 kBinput-0000-001.safetensors 0.1 kB