속보01 / AI
AI 연구 에이전트 실험 제안 415건 중 194건 통과
에이전트가 매긴 순위가 어떤 실험을 먼저 돌릴지 고르는 데 도움이 된다는 증거는 아직 제한적이다.

Art Kanke의 rTaste 논문에서 AI 에이전트 실험 제안 415건 중 194건이 타당성·가치·신규성 판정을 통과했다. 10월 29일 공개된 논문에 따르면 그중 출발 논문을 넘어선 뻔하지 않은 제안은 73건이다.
미네소타대 소속 저자는 최근 자연어처리 논문 일곱 편을 최첨단 모델 여섯 개에 줬다. 각 모델은 혼자 또는 팀으로 소규모 실험 다섯 개를 제안하고 실행 전에 성공 확률과 순위를 적었다. 별도 실행 모델이 최하위 순위까지 모두 시도했고, 판정은 Claude Opus 5.5·GPT-6.1 Sol·Grok 4.7이 맡았다.
저자는 초록에서 에이전트의 순위가 실험 선택을 개선한다는 증거는 제한적이라고 썼다. 첫 선택은 무작위보다 최고 평가 실험과 자주 맞았으나, 맨 먼저 쓴 실험보다 낫다는 증거는 없었다. 결과 예측은 기준 확률보다 정확했으나, 논문과 제안 내용만 받은 같은 모델보다 낫다고 측정되지는 않았다.
모델별. 저장소의 저자 공개 수치에서 다섯 제안당 통과 건수는 GPT-6.1 Sol이 단독 3.00건·팀 3.71건이다. 소형 모델인 Muse Spark 1.3은 단독 0.14건·팀 1.00건이다. 통과와 별개로 뻔하지 않은 제안은 GPT-6 Astra 단독·팀 각 21건, GPT-6.1 Sol 20건·22건이다.
팀 비용. 저자 공개 수치에서 팀은 단독보다 통과 건수가 평균 0.71건 많았지만, 95% 신뢰구간은 −0.10에서 1.52까지다. $100당 통과 건수는 단독 13건, 팀 11건이다.
논문이 인용한 METR 위험 평가에선 네 연구소 모두 연구 의제와 예산 결정을 에이전트에 맡긴 증거가 없었다. 저자는 평가 도구와 제안 415건 데이터셋을 GitHub에 공개했다.
사람 연구자와 비교한 성적은 논문 초록과 저장소 설명에 없다.