속보01 / AI
영상 이해 평가서 드러난 대사·발화자 연결 격차
연구진은 시각 정보의 효과가 질문 유형에 따라 달랐다고 밝혔다.

연구진은 11월 13일 영상 이해 평가 CineMME를 발표했다. 대사 위치와 발화자 연결 성능에 격차가 드러났다고 밝혔다.
논문 초록에 따르면 짧은 서사 영상 975개로 평가를 구성했다. 대사의 시간대·내용·발화자를 찾는 과제를 묶었다. 대화를 근거로 줄거리를 해석하는 능력도 평가했다.
초록은 Gemini-3 Pro의 대사 위치 점수를 68.34%로 제시했다. 발화자 연결 점수는 7.74%로 보고했다. 앞 수치는 시간 구간, 뒤 수치는 인물 영역의 겹침을 평가했다.
연구진은 시각 정보의 효과도 과제마다 달랐다고 밝혔다. 연구진은 시각 정보가 지각 중심 질문의 성능을 높였다고 밝혔다. 반면 연구진은 시각 정보가 대화 중심 추론에서는 성능을 낮추기도 했다고 밝혔다.
초록에 따르면 기존 평가도 영상 질의응답과 시청각 추론을 다뤘다. 다만 같은 영상에서 대사부터 줄거리까지 근거가 이어지는지 살피는 경우는 드물었다. CineMME는 이 연결을 진단하도록 설계됐다.
연구진은 논문 초록에서 시각 정보가 대화 중심 추론의 성능을 낮춘 폭은 공개하지 않았다.