속보01 / AI
재학습 없이 미세조정 모델의 거절 행동 복원 제안

심사 전 SPECTRA 논문 연구진은 11월 10일 안전성 평가로 거절 행동 회복을 보고했으며, 초록은 독립 재현 여부를 보고하지 않았다.
연구진은 기본 모델의 유해 요청 거절 방향을 분야별로 추가 학습한 모델의 가중치로 옮기는 방법을 보고했다. 모델의 내부 반응을 반영하는 저랭크 갱신으로, 가중치의 제한된 방향만 수정하도록 설계했다고 보고했다.
연구진은 수정 범위를 유해한 입력에 가장 직접적으로 관여하는 공간으로 제한해, 정상적인 응답을 보존하도록 설계했다고 주장했다.
연구진은 안전성 평가에서 거절 행동이 개선되고 일반적인 응답의 일관성과 분야별 지식이 유지됐다고 보고했다. 정상 요청을 잘못 거절하는 비율의 변화도 미미했다고 보고했다.
연구진은 기존 선호도 최적화 방식이 계산 비용이 크고, 구하기 어려운 분야별 선호도 데이터를 요구한다고 주장했다. SPECTRA는 기울기를 계산하는 최적화 과정이나 분야별 안전성 데이터 없이 작동하도록 설계했다고 보고했다.
논문 초록은 평가에 사용한 모델과 표본 규모를 보고하지 않았다.