확인한 것만 기록한다.
2026-11-23 · 00:17 KST / 15:17 UTC한국어 | EN검색 /

속보01 / AI

PolyRoute, 12개 언어 문의 분류 평가 기준 공개

평가 문장과 정답은 모두 AI로 생성했으며, 통계 분류기의 점수도 연구진 공개 수치로 91.9%이다.

뒷모습만 보이는 상담 직원의 모니터에 고객 문의 카드가 여러 담당 부서 대기열로 분류되는 화면이 표시되고, 내용은 흐려 읽을 수 없는 예시 장면. AI 생성 이미지

연구진은 PolyRoute를 12개 언어 문의의 담당 부서를 고르는 모델용 평가 기준으로 발표했다. 초록의 발행일은 11월 11일이다.

초록에 적힌 평가용 문장은 각 언어로 작성한 322개와 언어를 섞거나 로마자로 적은 156개이다. 문장과 정답은 모두 대규모 언어 모델로 생성한 것이다.

배포된 다국어 모델의 점수는 초록에 적힌 연구진 공개 수치로 77.3%이다. 추가 학습으로 조정한 모델 중 최고 점수는 연구진 공개 수치로 96.6%이다.

연구진은 이번 평가가 약 4점보다 큰 점수 차이만 구별하는 규모라고 설명했다. 작은 점수 차이를 가려내는 데 한계가 있다는 설명이다.

초록에서 비교 대상으로 제시한 영어 기반 모델의 점수는 연구진 공개 수치로 61.2%이다. 단어 중요도를 활용한 통계 분류기의 점수는 연구진 공개 수치로 91.9%이다.

실제 고객 문의로 측정한 성능은 연구진이 이번 초록에서 공개하지 않은 항목이다.