01 / AI · 분석
동료 신호에 LLM 공개 정확도 최대 47.8포인트 하락
연구진은 다중 에이전트 평가에서 최종 합의뿐 아니라 그 합의가 비공개 판단을 반영하는지도 재야 한다고 썼다.

논문에 따르면 모호한 동료 신호는 아홉 개 모델의 공개 정확도를 최대 47.8퍼센트포인트(연구진 공개 수치) 낮췄다. 공개 정확도는 다른 에이전트의 신호를 본 뒤 공개한 결정의 정확도이다. 이 수치를 담은 대규모 언어 모델(LLM) 연구 Phantom Consensus는 11월 9일 arXiv에 올라왔다.
연구진은 여러 모델 인스턴스의 판단을 모으는 시스템이 늘고 있다고 썼다. 다른 에이전트에 대한 추론 자체가 실패를 부를 수 있다는 문제 제기이다. 기록된 비공개 판단이 뒷받침하지 않는 겉보기 합의가 연구 대상이다.
연구진은 이 겉보기 합의를 측정하는 도구를 따로 만들었다.
겉보기 합의를 재는 벤치마크
논문은 이 실패를 phantom consensus, 곧 유령 합의라고 불렀다. 모호한 사회적 신호를 본 모델이 공개 결정을 바꾸는 현상이다. 논문에 따르면 이때 모델은 다른 에이전트의 비공개 판단을 부정확하게 추정했다.
PHANTOM-Bench의 설계는 논문 초록에 단계별로 적혀 있다. 고립 상태의 비공개 판단, 신호를 본 뒤의 공개 결정, 집단 판단 추정치를 분리했다. 중립 문구와 명시적 투표 따르기를 살피는 대조 조건도 두었다.
옳은 판단이 틀린 결론으로 바뀐 구간
시험 대상은 폐쇄형과 공개 가중치 모델을 합친 아홉 개라고 초록은 적었다. 연구진은 모호한 신호가 결정 품질을 일관되게 떨어뜨렸다고 썼다. 비공개 판단으로는 맞았던 집단이 공개 단계에서 틀린 결론에 이르기도 했다고 연구진은 덧붙였다.
가장 취약한 설정에서 집단 합리성 실패는 47.3%(연구진 공개 수치)에 달했다고 논문은 썼다. 연구진은 집단의 비공개 판단을 추정한 값에서도 상당한 오차가 공개 단계 실패와 함께 관찰됐다고 썼다. 정확도 하락 전후의 값과 모델별 수치는 초록에 없다.
정답을 주지 않고 고친 실패
대조 조건에서는 모호한 신호와 명시적 동료 신호에 대한 취약성이 모델마다 달랐다고 논문은 적었다. 연구진은 에이전트의 기록된 비공개 결정을 공개하자 정답 라벨을 드러내지 않고도 많은 실패가 복구됐다고 밝혔다. 복구 정도 역시 모델마다 달랐다고 연구진은 덧붙였다.
논문은 초록 마지막 문장에서 측정 대상이 최종 합의만이 아니라고 썼다. 합의가 "independently measured private judgments"를 반영하는지도 재야 한다고 덧붙였다. 복구 폭의 모델별 수치는 초록에 없다.