속보01 / AI
Meta 연구진, 착용형 AI 비서 평가 과제 120개 공개
답변 글이 아니라 가상 세계의 최종 상태로 채점하지만, 저장소 안내문에 모델별 통과율은 없다.

착용형 AI 비서를 120개 과제로 시험하는 InteractiveBench가 비상업 이용자에게 공개됐다. explainx.ai는 Meta 연구 조직이 10월 24일 저장소를 공개했다고 소개했다.
저장소 문서에 따르면 과제는 안내·계획·접근성·결정·예방·찾기 6개 분류에 20개씩 고정돼 있다. 평가받는 모델은 비서를 맡아 사람의 1인칭 화면과 대화만 본다. 고정된 다른 모델은 사람을 맡아 비서의 안내대로 시뮬레이터 동작을 실행한다.
문서에 따르면 논문은 모든 비서 평가에서 사람 역할에 Gemini 3.1 Pro를 썼다. 통과 기준은 "every goal holds in the final world state"이다. 대화가 아니라 최종 가상 세계의 상태로 성공을 가리는 방식이다.
시뮬레이터 InteractiveWorld는 NVIDIA Isaac Sim 5.1과 장면 데이터셋 BEHAVIOR-1K 3.9.0을 쓴다고 문서에 적혀 있다. 장면은 가정과 시설 44곳이고, 인물 동작은 36개 계열이다. 비서 모델은 로컬 오픈소스 서버나 OpenAI·Anthropic·Gemini API로 연결한다.
실행 조건. 저장소 문서에 적힌 실행 환경은 NVIDIA GPU를 갖춘 Linux와 디스크 약 100 GB다. 시뮬레이터 작업자 하나는 GPU 메모리 약 4 GB를 쓴다. 본체는 CC BY-NC 4.0이고, 인체 모델 MANO와 동작 데이터 AMASS는 등록 후 비상업 연구에만 쓴다.
저장소 안내문은 모델별 통과율을 제시하지 않았다.