GenGuard 1.0 Light FP8

mncai/genguard-1.0-light를 FP8(가중치·활성값 FP8)로 양자화한 모델입니다. 사용법은 원본 모델 카드를 따릅니다.

양자화 방법

• 도구: llm-compressor 0.14.0 (QuantizationModifier, scheme FP8_DYNAMIC)
• 대상: 언어 모델의 선형층 343개. lm_head, 임베딩, vision·audio 부분은 bf16 그대로 둡니다.
• 보정 데이터: 없음 (가중치는 채널별, 활성값은 실행할 때 토큰별로 스케일을 정합니다)
• 크기: 11.9GB (원본 15.9GB)