속보01 / AI
소형 언어모델 반복 평가에도 남은 참여자 구성 영향
평가 결과를 합쳐도 참여자 구성의 영향은 남아, 연구진은 강제 순위 대신 후보군과 격차를 보고하도록 제안했다.

연구진은 11월 12일 arXiv에 제출한 논문에서 소형 언어모델의 반복 평가 한계를 발표했다. 평가를 모아도 참여자 구성에 따른 선택 차이가 유지됐다.
연구진은 가중치를 공개한 소형 언어모델로 식당 리뷰를 평가했다. 런던에서는 TripAdvisor 리뷰 474개를 사용했다. 마드리드에서는 리뷰 600개로 실험을 진행했다.
논문에 따르면 런던에서 리뷰 작성자를 다시 뽑을 때 최상위 식당이 유지된 비율은 47-81%로 집계됐다. 평가 실행 결과를 다시 뽑을 때는 86-100%로 집계됐다. 모델 출력을 결합하는 방식도 가장 성능이 좋은 구성 모델을 넘어서지 못했다.
연구진은 참여자 재표집의 불확실성을 반영하면 단독 최상위를 정할 수 없었다고 밝혔다. 런던에서는 모든 식당이 후보에 포함됐다. 이에 순위를 강제로 매기기보다 후보군과 격차를 함께 보고하도록 제안했다.
연구진은 여러 사람의 의견을 모아 판단하는 집단 의사결정을 연구 대상으로 했다. 소형 공개 가중치 모델을 기관 내부에서 운용하는 방식을 검토했다. 이 방식으로 기관이 모델과 추론 설정, 의견을 통제할 수 있다고 설명했다.
연구진은 초록에서 식당 리뷰 외 의사결정 과제의 성능은 밝히지 않았다.