속보01 / AI
구글, 시각 문서 업무 평가하는 새 벤치마크 공개
공통 실행 환경에서 결과물을 채점하며, 평가 과제는 비공개로 운영한다.

Google DeepMind는 11월 10일 공통 환경에서 시각 업무를 평가하는 MKA를 공개했다고 보고했으며, 독립 재현 여부는 밝히지 않았다.
Google은 MKA가 이미지와 문서 배치를 함께 읽어 업무를 수행하는 에이전트 평가라고 설명했다. 공개 실행 도구 Stirrup에서 도구·격리 환경·작업 횟수 한도를 통일했다고 보고했다. 자사 모델이 아닌 다른 모델로 결과물의 파일과 수식을 점검한다고 설명했다.
Google은 전문가가 설계한 과제 200개(n=200, 비공개 평가 세트)로 모델을 평가했다고 보고했다. 전문가와 자동 채점의 판정 일치율은 96%(n=미공개, 모델 산출물 판정 비교)로 측정됐다고 보고했다.
Google은 학습 데이터 유입과 검색 노출을 막기 위해 Artificial Analysis가 평가 과제를 비공개로 운영한다고 설명했다. 공개 시험용 과제는 별도로 제공한다고 보고했다.
Google의 발표문에는 독립 재현 결과가 제시되지 않았다.
Google은 기존 지식 업무 평가의 상당수가 이미지나 문서 배치를 보지 않고도 풀린다고 주장했다. MKA는 도면과 회로도를 대조하고 발표 문서와 표를 만드는 시각 업무에 초점을 맞췄다고 설명했다.
Google의 발표문은 전문가와 자동 채점의 일치율을 산출한 비교 표본 수를 보고하지 않았다.