속보01 / AI
논문 심사자 추천 벤치마크 OmniReview 제안
연구자 전문성을 설명하는 프로필과 단계별 평가로 실제 편집 업무를 반영하도록 설계했다.

OmniReview 연구진은 11월 11일 arXiv 수정본에서 논문 심사자 추천용 벤치마크를 제안했다. 함께 제시한 Pro-MMoE는 평가 지표 대부분에서 최고 성능을 기록했다고 밝혔다.
논문 초록에는 여러 학술 플랫폼을 통합해 데이터셋을 구축했다고 적혀 있다. 연구자 식별 정보를 구분하는 절차를 거쳐 검증된 심사 기록을 모았다고 설명했다. 평가체계는 후보를 찾아내는 단계부터 적합한 전문가를 식별하는 단계까지 나눴다.
연구진은 Pro-MMoE에 대규모 언어모델과 여러 과제를 함께 학습하는 방식을 결합했다고 밝혔다. 언어모델이 만든 연구자 프로필로 전문성의 세부 정보와 설명력을 보존하도록 설계했다. 과제 적응형 구조로 서로 충돌하는 평가 목표의 균형을 맞추도록 했다.
연구진은 기존 연구의 한계로 검증된 대규모 벤치마크의 부족을 지적했다. 단순한 평가 지표로는 실제 편집 업무를 반영하기 어렵다고 설명했다. 의미를 압축하는 기존 임베딩 방식에는 정보 병목과 설명력의 한계가 있다고 주장했다.
연구진은 초록에서 지표별 성능 수치를 공개하지 않았다.