Qwen3.8-27B-Human-KO-Enterprise-v0.1

다키클라우드(ThakiCloud)의 한국어 모델 ThakiCloud/Qwen3.8-27B-Human-KO 를 기업 상담 에이전트로 조정한 체크포인트입니다. 회사 정책(규정과 예외 조항)과 고객 요청을 함께 읽고, 답변·되묻기·확인 요청·도구 호출·상담사 연결·거절 가운데 정책에 맞는 행동 하나를 JSON 으로 고릅니다.

결과 — ThakiCloud/EnterpriseOps-KO-Policy

같은 조건으로 학습한 세 시드 중 가운데 성적의 체크포인트를 공개합니다(세 시드 정확도 97.2~97.6%, 평균 97.3%). 기준 모델 대비 오답이 37.2% 줄었습니다.

안전·일반 능력 (기준 모델과 같은 조건에서 나란히 측정)

문항 수가 적어 1~5%p 차이는 통계적으로 구분되지 않습니다. 유해 요청은 두 모델 모두 전부 거절했습니다.

사용법

벤치 저장소의 prompt_contract.txt 지시문을 시스템 또는 사용자 메시지 앞에 두고, 정책과 고객 요청을 이어 붙입니다. 응답은 {"action": ...} JSON 한 개입니다. vLLM 등 Qwen3.8 호환 서빙에서 그대로 동작합니다.

학습

LoRA 지도 미세조정 후 병합. 학습 데이터는 합성 한국어 기업 정책 시나리오이며 공개하지 않습니다. 벤치 문항은 학습에 쓰지 않았습니다.

논문

이 체크포인트를 사용한 논문입니다: When Should Enterprise Policy Decisions Be Learned, and When Should They Be Reasoned? (arXiv:2610.17643)

논문의 모든 실험 조건은 이 체크포인트에서 출발합니다. 모델을 하나로 고정한 채, 행동을 JSON 객체로 생성하는 경로와 제약된 한 토큰으로 읽어내는 경로를 비교했습니다. ThakiCloud/EnterpriseOps-KO-Policy 2,800문항에서 두 운영 경로의 정확도 차이는 검출되지 않았습니다(93.46% 대 94.14%). 반면 재시작 사이에 행동이 뒤집히는 비율은 약 열 배 차이가 났습니다(3.00% 대 0.29%). 다만 두 경로는 추론을 쓰는지도 함께 다르기 때문에, 이것은 출력 형식만의 비교가 아니라 배포 형태의 비교입니다.

숨은 실행 가능 정책이 정답을 만든 봉인 벤치 300문항에서는 추론을 켜는 쪽이 정확 행동 기준 17.3점 높았습니다([+12.3, +23.0]). 추론을 끈 조건에서 형식 차이는 0.0점이었고 구간은 [-4.3, +4.0]이었습니다. 어느 형식도 우위를 보이지 않았다는 뜻이며, 두 형식이 같다고 증명한 결과는 아닙니다. 위 표의 수치는 이 카드의 자체 측정이고, 논문의 수치는 논문 하네스에서 재시작 중앙값으로 측정한 값이라 바로 겹쳐 읽으면 안 됩니다.

한계

벤치는 합성 정책·요청으로 만들었습니다. 실제 업무에 쓰기 전에 자사 정책과 도구로 따로 검증하세요. 도구 목록은 이 체크포인트에 내장돼 있지 않습니다 — 도구 호출이 필요한 행동을 고를 뿐, 실제 호출 인자는 서비스 쪽 스키마로 받아야 합니다.