02 / IT · 분석
AI가 자기 오류를 찾는지 평가하는 순위표 공개
정답 여부와 자기 오류 탐지를 구분한 평가 취지를 소개했다.

DEV 보도에 따르면 24개 모델의 평가 순위표가 공개됐다. 보도가 전한 규모이며, 반응 게시물을 센 값은 아니다.
보도에 따르면 JGENai가 VIDRAFT와 공동 공개했다. AI의 자기 오류 탐지를 평가할 도구를 선보였다고 전했다.
DEV는 정답 여부만으로 평가하지 않겠다는 취지를 전했다. 이 구분이 순위표를 읽을 때 살필 대목이다.
정답과 자기 오류 탐지를 나눈 평가
DEV는 이를 메타인지 평가라고 소개했다. 자기 판단을 돌아보는 능력을 평가한다는 뜻이다.
보도는 답의 정오와 자기 오류 탐지를 구분했다. 평가 목표를 실제 탐지 성과로 읽어서는 안 된다.
모델별 보조 모듈도 함께 공개
보도에 따르면 모델별 메타인지 어댑터 11개도 공개했다. 모델에 덧붙이는 보조 모듈로 자기 오류 탐지를 겨냥했다.
DEV는 순위표와 보조 모듈을 함께 소개했다. 평가 도구의 공개와 오류 탐지의 입증은 나눠 읽어야 한다.