확인한 것만 기록한다.
2026-11-23 · 00:20 KST / 15:20 UTC한국어 | EN검색 /

속보01 / AI

영어·표준중국어 평가에서 나타난 모델별 맥락 추론 차이

연구진은 대화 문항에서 언어 모델이 사람 참가자보다 발화를 문자 그대로 해석하는 경향이 강했다고 보고했다.

컴퓨터 화면에서 얼룩무늬 도자기 머그잔의 참조 사진과 여러 비슷한 잔을 나란히 보여주고, 참조와 일치하는 잔의 영역만 반투명 주황색으로 표시한 장면. AI 생성 이미지

연구진은 11월 20일 arXiv에 공개한 논문 PILAPS에서 영어·표준중국어 문항으로 평가한 모델별 맥락 추론 차이를 발표했다. 논문 초록은 독립 재현을 언급하지 않았다.

논문 초록에 따르면 연구진은 발화가 맥락에서 어떤 뜻을 갖는지 평가하려고 문항을 새로 쓰거나 대화에서 뽑았다. 문화에 맞게 고친 문항과 별도로 수집한 문항을 함께 썼다.

논문은 오픈소스 모델이 특히 유머 해석에서 어려움을 보였다고 보고했다. 연구진은 대화 문항에서 언어 모델이 사람 참가자보다 발화를 문자 그대로 해석하는 경향이 강했다고 보고했다.

연구진은 상대의 생각을 헤아리도록 지시하자 오답 중 문자 그대로 해석한 비중이 줄었다고 보고했다. 연구진은 생각을 단계별로 풀어 쓰도록 지시했을 때 오답 중 발화를 문자 그대로 해석한 비중이 소폭 늘었다고 보고했다.

논문은 영어 평가에서 언어 모델이 높은 맥락 추론 성능을 보였다는 선행 연구를 언급했다. 이번 평가는 언어와 대화 상황이 달라져도 그 성능이 이어지는지 살폈다.

논문 초록은 지시 방식에 따라 문자 그대로 해석한 오답의 비중이 얼마나 달라졌는지 밝히지 않았다.