속보01 / AI
Apple 논문, 번역 평가서 LLM과 사람 일치도 비교
사람의 번역 평가를 LLM으로 대신하려면 언어쌍과 분야별 검증이 먼저라는 주장이다.

Apple 머신러닝 연구 사이트의 10월 12일 논문은 번역 평가 두 방식에서 대규모 언어모델(LLM)을 사람과 비교했다.
논문 초록에 따르면 평가 대상은 MQM과 ESA이다. MQM은 다차원 품질 지표, ESA는 오류 구간 주석을 뜻하는 약어다. 모델의 성능은 사람과의 일치도로 쟀다.
초록은 LLM이 번역 평가에서 사람보다 효율적이고 저렴한 대안으로 여겨진다고 썼다. 다만 번역 평가는 언어쌍과 분야, 주석의 세밀함이 제각각이다. 논문은 사람 평가를 대체하려면 이 차원 전반의 철저한 검증이 먼저라고 적었다.
논문 제목은 번역 품질 주석 작업에서 사람과 모델 모두 어려움을 겪는다고 적었다.
일치도 수치와 시험 대상 모델 이름은 초록 도입부에 없다.