확인한 것만 기록한다.
2026-11-23 · 00:13 KST / 15:13 UTC한국어 | EN검색 /

속보01 / AI

언어모델 교란 탐지, 분류기와 자기보고 격차

연구진은 교란 위치를 찾는 성공이 내부 계산 전반에 대한 접근을 뜻하지는 않는다고 지적했다.

언어모델 실험용 모니터 두 대에 내부 신호 분류기가 교란 구간을 일정하게 찾는 결과와 모델 자체 응답이 서로 다른 위치를 짚는 결과가 나란히 표시되어 있다. AI 생성 이미지

연구진은 11월 13일 arXiv 논문에서 사전학습 중 분류기의 탐지 정확도가 98.3%라고 발표했다.

논문에 따르면 연구진은 내부 신호를 읽고 교란된 문장을 찾는 선형 분류기를 학습했다. 이어 분류기의 예측과 모델 자신의 답변을 비교했다.

논문이 제시한 위 정확도는 OLMo 3 32B의 특정 교란·판독 조건에서 얻은 수치이다. 같은 조건에서 별도 예시 없이 답한 모델의 정확도는 무작위 수준인 11.1%이다.

논문에 적힌 공개 기본 체크포인트의 분류기 정확도는 99.1%이다. 체크포인트는 학습 상태를 저장한 모델이며, 해당 모델의 응답 정확도는 89.6%이다.

연구진은 무작위로 초기화한 모델에서도 교란 위치를 판독할 수 있었다고 보고했다. 사전학습 없이도 모델 구조가 위치 흔적을 담을 수 있다는 설명이다. 교란 위치를 보고하는 성공이 내부 계산 전반에 대한 접근을 뜻하지는 않는다고 지적했다.

논문 초록은 모델의 추론 설명이 얼마나 충실한지 평가한 수치는 제시하지 않았다.