속보01 / AI
다국어 문서 이해 평가서 언어별 성능 격차 지속
연구진은 모델 규모가 커져도 언어별 점수 차이가 줄지 않았다고 보고했다.

Gabburo 연구진은 문서 이해 평가 MDU를 13개 과제로 구성해 다국어 성능 측정용으로 발표했다. arXiv에 적힌 논문 제출일은 11월 10일이다.
논문 초록에 따르면 MDU는 23146개 평가 사례로 구성한 벤치마크이다. 평가 언어는 영어·프랑스어·독일어·이탈리아어·스페인어이다. 연구진은 글자 추출과 요약, 문서 배치 파악 등을 과제로 구성했다.
연구진은 이미지와 글을 함께 다루는 시각·언어 모델을 평가했다고 밝혔다. 가중치가 공개된 모델 45개와 상용 시스템을 같은 절차로 평가했다.
논문 초록에 적힌 연구진 공개 수치에서 최고 평균 점수는 69.0이다. 연구진은 전반적인 모델 성능의 영향을 제외하면 과제별 점수 사이의 상관관계가 대체로 약했다고 보고했다.
모델 규모 비교에서 연구진은 가장 큰 모델이 최상위 성적을 내지는 않았다고 밝혔다. 가장 강한 언어와 약한 언어의 성능 차이도 모델이 커져도 줄지 않았다고 보고했다.
모델별 이름과 개별 점수는 연구진이 논문 초록에서 공개하지 않은 항목이다.