확인한 것만 기록한다.
2026-11-23 · 00:14 KST / 15:14 UTC한국어 | EN검색 /

속보01 / AI

자연스러운 안전 응답으로 추가 학습 뒤 안전성 개선

자연광이 드는 AI 연구실에서 뒷모습만 보이는 연구자가 두 모니터에 나타난 반복적인 정형 응답과 요청마다 달라지는 응답을 비교하며, 화면 내용은 흐려 읽을 수 없다. AI 생성 이미지

연구진은 11월 10일 심사 전 논문 안전이 이상치가 될 때 초록에서 독립 재현 결과 제시 없이 거절문 비교에 따른 안전성 개선을 발표했다.

연구진은 정형화된 거절 문구가 학습하기는 쉽지만, 뒤이은 모델 수정에는 취약한 응답 패턴이 될 수 있다고 주장했다. 통제 실험에서는 고정된 거절문이 요청에 근거한 자연스러운 응답보다 임의의 고정 문자열과 비슷하게 학습됐다고 보고했다.

이 가설에 따라 저자들은 요청 맥락에 맞는 자연스러운 안전 응답을 만드는 학습 방식 NEST를 제안했다. 기존 모델이 해당 응답을 얼마나 예측하기 어려워하는지 나타내는 퍼플렉서티를 활용했다고 보고했다.

초록에 따르면 연구진은 정답 예시로 배우는 지도학습과 응답 간 선호를 활용하는 학습에 이 방식을 적용했다. 여러 모델과 학습 방식에서 유용성을 희생하지 않으면서 초기 안전성과 추가 학습 뒤 안전 행동 유지가 개선됐다고 보고했다.

저자들은 안전 데이터를 넣어도 추가 학습 뒤 안전 행동이 약해지는 현상은 기존 연구에서도 다뤄졌다고 설명했다. 이번 연구는 거절 응답의 형식과 요청 의미와의 연결을 그 원인으로 살폈다고 보고했다.

초록은 모델별 개선 폭과 평가 표본 규모를 보고하지 않았다.