01 / AI · 분석
아타리 게임 20종이 드러낸 시각 AI의 판단 한계
최신 시각언어모델은 물체의 움직임을 자주 놓치고 새 화면보다 글로 쌓인 기록에 기댔다는 연구 결과다.

AtariBench 논문은 Atari 2600 게임 20종에서 추론 시간을 게임 속도와 떼어 시각언어모델을 쟀다고 밝혔다. 시각언어모델은 이미지와 언어를 함께 다루는 AI 모델이다. 연구진이 11월 9일 arXiv에 올린 논문의 결론은 최신 모델에 상당한 한계가 있다는 것이다.
논문에 따르면 이 모델들은 정지 화면 이해 벤치마크에서 높은 성능을 냈다. 반면 움직이는 환경에서 행동하는 능력은 규명이 덜 된 영역이다.
논문의 설계는 시간 해상도가 높은 게임 영상을 보여 주고 연속 결정을 요구하는 방식이다. 시험이 묻는 것은 응답 속도가 아니라 화면 변화를 읽고 행동에 옮기는 능력이다.
물체의 방향부터 놓친 모델
논문은 최신 시각언어모델이 물체의 움직임과 방향을 자주 추론하지 못했다고 밝혔다. 연속된 의사결정도 쉽게 무너졌다. 모델별 점수는 초록에 없다.
논문은 새 시각 피드백이 붙어도 모델이 "over-rely on textual interaction history"라고 썼다. 화면이 바뀌어도 글로 쌓인 기록에 지나치게 기댄다는 뜻이다.
믿을 수 있는 게임 점수를 가리는 분석
연구진은 분리도 분석도 함께 제시했다. 게임 안 점수 가운데 어떤 점수가 모델 역량을 믿을 만하게 보여 주는지 가려내는 절차이다. 게임 점수가 모두 같은 신호는 아니라는 것이 이 분석의 전제이다.
신뢰할 점수로 분류된 게임의 목록은 초록에 없다.
행동으로 이어지지 않는 시각 능력
연구진은 기억 설계와 프롬프트 전략이 성능에 미치는 영향도 이 벤치마크로 연구했다고 밝혔다. 프롬프트는 모델에 주는 지시문이다. 어느 설계가 점수를 얼마나 올렸는지는 초록에 없다.
논문은 수동적 시각 인식과 능동적 의사결정 사이에 "a persistent gap"이 있다고 결론 냈다. 연구진은 이 벤치마크를 동적 환경에서 추론하고 행동하는 모델을 위한 시험대로 제시했다. 화면을 본 뒤 움직여야 하는 기기에 이 결과가 어떻게 옮겨지는지는 초록에 없다.