속보01 / AI
WebArena-Pro, 음성·영상 웹 에이전트 평가
서로 다른 모델을 결합한 Codex와 Claude Code가 공동 최고 점수로 보고됐다.

WebArena-Pro 연구진은 11월 16일 arXiv에 공개한 논문에서 음성·영상 과제를 격리해 평가했다고 발표했으며, 초록에 독립 재현 결과는 없다.
연구진은 자체 호스팅 웹 앱에서 텍스트·이미지와 함께 음성·영상을 관찰 대상으로 삼았다고 보고했다. 음성·영상에서 정보를 추출하는 별도 동작도 마련했다고 보고했다.
논문 초록에서 Codex와 Claude Code는 공동 최고인 62.3%로 측정됐다(n=300, WebArena-Pro). 이 결과는 각 에이전트에 서로 다른 모델을 결합한 조건에서 측정됐다.
연구진은 전용 주석 도구로 과제를 만들고 언어모델의 선별을 거쳐 사람이 최종 검증했다고 보고했다. 실행할 때는 과제를 서로 분리하며, 병렬 평가도 지원한다고 보고했다.
저자들은 기존 재현형 벤치마크가 소수 웹 앱과 텍스트·이미지에 머물렀다고 주장했다. 실제 웹사이트를 쓰는 평가는 페이지와 데이터의 변화로 재현성이 떨어진다고 주장했다.
초록은 과제별 점수와 반복 실행에 따른 점수 변동을 보고하지 않았다.