wt-pplx-decider-27b-insurance-hitl-v1

한국어 보험 상담 대화에서 "지금 처리해도 되는지(PROCEED), 사용자에게 먼저 되물어야 하는지(ASK)" 를 판단하는 decision head 입니다.

본체(pplx-decider-v1.1-27b)는 학습하지 않았고, 마지막 readout 행렬([255, 5120], 5.2MB)만 학습했습니다. 그래서 이 레포에는 head 파일만 있고, 본체는 원본 체크포인트를 그대로 받아서 씁니다.

구성

• 본체: perplexity-ai/pplx-decider-v1.1-27b @ 14c9d90137962d300f3de95633f7b6535e80c5ce
• head 가 맡지 않는 판단은 원본 readout 으로 계산합니다. (같은 서버에서 원본과 학습본을 요청마다 골라 쓸 수 있습니다.)

사용

본체 bf16 기준 GPU 메모리 약 62GB (H100 1장), 입력 한도 8,192 토큰입니다.

POST /decide
{"task": "T2", "head": "tuned", "input": {"history": [...], "user_query": "...", "ui_info_present": false}}
→ {"scores": {"PROCEED": 0.31, "ASK": 0.69}, "head": "tuned", "head_applied": "tuned"}

• head 는 base(원본) 또는 tuned(이 레포) 이고, 생략하면 tuned 입니다.
• 지시문(instruction)은 학습 때와 같은 문구를 서버가 채웁니다. 다른 문구로 바꾸면 성능이 떨어질 수 있습니다.

학습

• 보험 상담 도메인의 되묻기 판단 데이터로 readout 만 학습했습니다.
• 본체 특징을 한 번 추출한 뒤 readout 만 학습하는 방식이라, GPU 1장에서 1시간 이내에 끝납니다.

평가

학습에 쓰지 않은 대화로 평가했습니다.

한계

• 평가 대화 수가 많지 않아서, 수치는 방향을 보는 용도로 쓰는 게 맞습니다.
• 대화를 2K~16K 토큰으로 늘린 평가에서는 원본보다 정확도가 2.3%p 낮습니다.
• 되묻기 판단 외의 판단은 학습하지 않았습니다.