확인한 것만 기록한다.
2026-11-23 · 00:34 KST / 15:34 UTC한국어 | EN검색 /

속보01 / AI

언어모델 오류 감지와 사전 경고 구분하는 평가법 제시

연구진은 응답 분류 점수가 비슷한 탐지기도 오류 전 경고 성과는 달랐다고 밝혔다.

언어모델 평가용 모니터에 반복 출력이 시작되기 전과 후에 각각 경고가 표시된 두 응답 흐름이 나란히 비교되어 있다. AI 생성 이미지

연구진은 11월 13일 오류 시작점이 표시된 응답용 경보 평가법 PREWARN을 발표했다.

논문 초록에 따르면 PREWARN은 경보 시점을 오류 시작점과 비교하는 평가 절차이다. 응답 완성 뒤의 분류, 오류 진행 중 감지, 시작 전 경고를 구분했다.

초록에 적힌 절차는 검증용 데이터로 용도에 맞는 오류율의 경보 기준을 정하는 방식이다. 이후 경보가 오류 시작점의 앞뒤 어디에 놓이는지 평가했다.

연구진은 반복 출력으로 응답이 무너지는 현상에 이 절차를 적용했다고 밝혔다. 연구진은 모델 내부 신호를 읽는 선형 탐지기가 일부 모델의 오류 응답 대부분에서 시작 전에 경고했다고 밝혔다.

논문 초록에 따르면 응답 분류 성능 지표인 AUROC는 이 현상에서 포화 상태에 도달했다. 논문 초록에 따르면 응답 길이만 보는 규칙도 거의 완벽한 점수를 기록했다. 연구진은 이 지표로 동급인 탐지기도 PREWARN에서는 사전 경보 성과가 달랐다고 밝혔다.

논문 초록은 반복 오류 이외의 실패 유형에 대한 평가 결과를 공개하지 않았다.