속보01 / AI
드라마 평가 AI의 채점 방식별 정확도 차이

저자들은 10월 14일(제출) 심사 전 논문 DramaGrow에서 반복 채점·쌍 비교 성능 차이를 발표했으며, 독립 재현은 초록에 보고하지 않았다.
저자들은 중국어 연속극을 대상으로, 검증 가능한 조건 위반과 사람의 선호·평가 불일치를 구분했다고 보고했다. 조건 위반 여부와 선호 판단에는 서로 다른 평가 기준을 적용했다.
저자들은 반복 채점의 평균 정확도를 53.8-55.8%(n=114, 고정 선호 쌍)로 보고했다. 저자들은 DirectPair-GLM의 직접 쌍 비교 정확도를 85.1%(n=114, 같은 선호 쌍)로 보고했다.
저자들은 무승부 판정 범위와 호출 간 변동, 사람 평가의 표 차이가 성능에 영향을 준다고 주장했다. 초록은 다른 언어의 연속극에 대한 평가 결과를 보고하지 않았다.
저자들은 기존 평가 대부분이 단일 호출 점수로 서로 다른 품질 판단을 압축한다고 보고했다. 이번 방식은 조건 위반과 선호, 평가자 간 불일치에 별도의 판단 기준을 적용했다고 보고했다.
저자들은 평가 절차와 익명화한 사람 평가, 모델 평가 기록과 분석 코드를 공개할 계획이라고 발표했다. 초록은 공개 시점을 보고하지 않았다.