01 / AI · 분석
언어모델 수정 효과는 평가 조건에 따라 달랐다
거부 제거와 어휘 축소 논문은 수정 뒤 동작을 평가 조건과 함께 살폈다.

연구진은 arXiv에 유해 질문 972개의 거부 집계를 발표했다. 자동 판정을 썼고, 일부 기법의 반복 변동은 못 셌다.
다른 arXiv 논문은 글 처리 단위인 토큰의 축소를 분석했다. 사용자 글의 토큰만 남길 때의 오류를 짚었다.
두 논문은 모델 수정 뒤 동작을 평가했다. 거부 반응과 토큰 분할을 각각 비교했다.
거부 제거 난도는 모델별로 달랐다
논문은 "did not become uniformly harder"라고 적었다. 새 모델일수록 제거가 어렵다는 설명을 제한했다.
논문은 거부 반응 방향을 지우는 기법을 비교했다. 최적화 기반 거부 제거법인 ARA도 평가했다.
연구진은 ARA를 한 번씩 실행해 판단했다. 일부 결론은 허용한 출력 변화 폭에 좌우됐다.
어휘 축소는 병합 관계를 보존해야 했다
어휘 축소 논문은 미사용 어휘의 용량 부담을 짚었다. 태국어·영어 배포에선 작은 모델의 부담이 더 컸다.
논문은 기존 방식이 중간 토큰도 지웠다고 지적했다. 이에 새 글을 나누는 방식이 달라졌다고 보고했다.
논문은 "merge closure"로 병합 관계를 보완했다. 축소용 글로 새 글의 분할 변화를 예측하는 인증도 제시했다.
두 논문은 삭제 뒤 동작을 판단 기준에 넣었다. 수정 효과는 평가 조건과 함께 읽어야 했다.