속보01 / AI
PolyRoute, 12개 언어 문의 분류 평가 기준 공개
평가 문장과 정답은 모두 AI로 생성했으며, 통계 분류기의 점수도 연구진 공개 수치로 91.9%이다.

연구진은 PolyRoute를 12개 언어 문의의 담당 부서를 고르는 모델용 평가 기준으로 발표했다. 초록의 발행일은 11월 11일이다.
초록에 적힌 평가용 문장은 각 언어로 작성한 322개와 언어를 섞거나 로마자로 적은 156개이다. 문장과 정답은 모두 대규모 언어 모델로 생성한 것이다.
배포된 다국어 모델의 점수는 초록에 적힌 연구진 공개 수치로 77.3%이다. 추가 학습으로 조정한 모델 중 최고 점수는 연구진 공개 수치로 96.6%이다.
연구진은 이번 평가가 약 4점보다 큰 점수 차이만 구별하는 규모라고 설명했다. 작은 점수 차이를 가려내는 데 한계가 있다는 설명이다.
초록에서 비교 대상으로 제시한 영어 기반 모델의 점수는 연구진 공개 수치로 61.2%이다. 단어 중요도를 활용한 통계 분류기의 점수는 연구진 공개 수치로 91.9%이다.
실제 고객 문의로 측정한 성능은 연구진이 이번 초록에서 공개하지 않은 항목이다.