확인한 것만 기록한다.
2026-11-23 · 00:17 KST / 15:17 UTC한국어 | EN검색 /

01 / AI · 분석

Anthropic이 제안한 대화 전체 안전성 평가

Anthropic은 유해한 요청에 응하는 문제뿐 아니라 무해한 요청을 과도하게 거부하는 문제도 함께 평가해야 한다고 주장했다.

Anthropic이 제안한 대화 전체 안전성 평가 관련 이미지(출처: Anthropic)
사진: Anthropic

Anthropic은 Building strong safety evaluations에서 다중 대화 평가를 제안했으며, 독립 재현 결과는 보고하지 않았다.

Anthropic은 안전성 평가가 모델의 배포 여부와 함께 제공할 보호 장치를 결정하는 데 쓰인다고 보고했다. 모델 간 점수 차이를 관찰하는 설계만으로는 어떤 조치가 안전성을 바꿨는지 설명할 수 없다고 주장했다.

Anthropic은 응답 거부가 항상 안전한 대응은 아니라며, 대화 전체에서 대응의 적절성을 살피도록 권고했다. 유해한 요청에 응하는 문제와 무해한 요청까지 과도하게 거부하는 문제를 함께 평가해야 한다고 주장했다.

거부율이 놓치는 대응의 적절성

Anthropic의 글에는 적절한 응답률인 "appropriate response rate"와 거부율인 "refusal rate"가 적혀 있다. 여러 차례 이어지는 대화는 위험 분야별 기준에 따라 끝까지 적절하게 대응했는지 평가한다고 보고했다. 도중에 부적절한 응답이 나오면 해당 대화 전체를 실패로 처리한다고 보고했다.

Anthropic은 위기 상황의 사용자에게 대답을 거부하는 것만으로는 적절한 대응이 되지 않는다고 주장했다. 공감하며 대응하고 적절한 때에 사람의 지원으로 연결하는지를 평가 기준에 넣었다고 보고했다.

같은 시작에서 갈라지는 모의 대화

Anthropic은 분야별 전문가가 가상 사용자의 목표와 전술, 말투 등을 정하도록 평가를 설계했다고 보고했다. 시작 질문을 고정한 뒤 별도 Claude가 후속 질문을 생성해 평가 대상 모델과 대화하도록 했다고 보고했다.

Anthropic은 같은 시나리오를 조건 조합을 달리해 반복하고, 채점 모델이 대화 기록을 평가하도록 했다고 보고했다. 상황의 위험도와 말투처럼 영향을 따로 살필 요소는 서로 독립적으로 바꿔야 한다고 주장했다.

모의 사용자와 실제 사용자의 간격

Anthropic은 모의 사용자가 실제 사용자보다 단순하며, 사용자 행동도 시간이 지나면 달라진다고 보고했다. 실제 이용에서 관찰한 행동을 바탕으로 평가 사례를 계속 추가하고 수정한다고 보고했다.

Anthropic은 이 글에서 제안한 평가 방식에 대한 독립 재현 결과를 보고하지 않았다.

Anthropic은 단일 질문 평가로는 앞선 발언이 뒤의 요청에 부여하는 위험의 맥락을 포착하기 어렵다고 주장했다. 대화가 진행되며 요청의 의미가 달라지는 만큼, 평가도 개별 응답을 넘어 그 흐름을 다뤄야 한다고 주장했다.