속보01 / AI
언어모델 교란 탐지, 분류기와 자기보고 격차
연구진은 교란 위치를 찾는 성공이 내부 계산 전반에 대한 접근을 뜻하지는 않는다고 지적했다.

연구진은 11월 13일 arXiv 논문에서 사전학습 중 분류기의 탐지 정확도가 98.3%라고 발표했다.
논문에 따르면 연구진은 내부 신호를 읽고 교란된 문장을 찾는 선형 분류기를 학습했다. 이어 분류기의 예측과 모델 자신의 답변을 비교했다.
논문이 제시한 위 정확도는 OLMo 3 32B의 특정 교란·판독 조건에서 얻은 수치이다. 같은 조건에서 별도 예시 없이 답한 모델의 정확도는 무작위 수준인 11.1%이다.
논문에 적힌 공개 기본 체크포인트의 분류기 정확도는 99.1%이다. 체크포인트는 학습 상태를 저장한 모델이며, 해당 모델의 응답 정확도는 89.6%이다.
연구진은 무작위로 초기화한 모델에서도 교란 위치를 판독할 수 있었다고 보고했다. 사전학습 없이도 모델 구조가 위치 흔적을 담을 수 있다는 설명이다. 교란 위치를 보고하는 성공이 내부 계산 전반에 대한 접근을 뜻하지는 않는다고 지적했다.
논문 초록은 모델의 추론 설명이 얼마나 충실한지 평가한 수치는 제시하지 않았다.