속보01 / AI
시각언어모델 안전 점수 보정으로 유해 응답 감소 보고
연구진은 유해 응답과 과잉 거절의 허용 비율을 학습에 반영하고, 점수 보정의 효과를 비교했다고 보고했다.

연구진은 11월 13일 심사 전 논문 Safety as a Budget에서 비교 평가로 유해 응답 감소를 보고했으며, 독립 재현은 보고하지 않았다.
논문은 이미지와 글을 함께 다루는 Qwen3-VL-2B에 유해 응답과 과잉 거절의 허용 비율을 정해 학습했다고 보고했다. 평가자가 학습용 답변에 붙인 판정으로 점수를 보정하고, 이를 학습 제약에 반영했다고 보고했다.
논문은 유해 응답률을 8.9%(n=1,037, 기존 GRPO)와 4.8%(n=1,037, 보정 방식)로 보고했다. GRPO는 그룹 안의 응답 점수를 비교하는 강화학습 방식이다. 연구진은 모든 실험 시드에서 유해 응답률이 감소했다고 보고했다.
논문은 정상 질문의 과잉 거절률을 2%(n=400, 보정 방식) 이하로 보고했다. 연구진은 다른 평가자의 판정과 사람의 검토에서도 결과가 유지됐다고 보고했다.
논문은 기존 GRPO가 그룹 안에서 보상을 표준화할 때 제약 강도를 조절하는 값이 상쇄된다고 주장했다. 제안 방식은 이 값을 학습 신호에 남겨 유해 응답 억제 강도를 조절하도록 설계했다고 보고했다.
논문 초록은 독립 재현 여부와 다른 정책 모델에서의 성능을 보고하지 않았다.