속보01 / AI
AI 검증 거친 언어모델 평가서 어려운 문항 탈락

AI 검증 탈락 문항은 통과 문항보다 언어모델에 18.9점 더 어려웠다고 연구진이 밝혔다. 사람이 정답을 지지한 문항을 비교한, 11월 11일 논문 초록의 연구진 공개 수치이다.
논문 초록에 따르면 두 문장 중 정답을 고르는 최소대립쌍 평가를 다룬 연구이다. 영어 BLiMP와 퀘벡 프랑스어 QFrBLiMP가 검증 대상이다.
연구진은 공개 언어모델 10개에서 필터가 탈락시킨 문항과 통과시킨 문항을 비교했다고 밝혔다. 모델과 검증기의 70개 조합 모두에서 탈락 문항이 더 어려웠다는 연구진 공개 수치이다.
연구진은 필터가 언어모델은 틀리고 사람은 맞히는 문항을 제거했다고 설명했다. 그 결과 무작위로 문항을 제거했을 때보다 평가 정답률을 더 높였다고 밝혔다.
논문 초록에 따르면 BLiMP의 강제 선택형 AI 검증은 사람 판정단보다 사람 다수결과 더 자주 일치했다. 반면 사람이 정답을 거부한 문항을 찾아내는 능력은 단독 판정자보다 낮았다는 연구진의 설명이다.
연구진은 초록에서 필터 적용 전후의 정확도 수치를 공개하지 않았다.