01 / AI · 분석
MOSS-Live 음성 지표 우위, 다중 대화 열세
배경 음성 오응답 비율과 다중 대화 성적은 평가 범위를 나눠 읽어야 했다.

Pandaily는 MOSS-Live가 음성 평가 지표에서 앞섰다고 보도했다. 반면 다중 대화 과제에서는 GPT-Live-1에 뒤졌다. 음성 이해에서도 Doubao보다 낮은 평가를 받았다.
Pandaily 보도에서는 지표의 우위와 과제의 열세가 함께 제시됐다. 따라서 앞선 지표만으로 대화 능력 전체의 우위를 판단하기는 어려웠다. 평가 항목을 구분하는 일이 비교의 핵심이 됐다.
Pandaily는 배경 음성에 잘못 응답한 비율도 전했다. 이 결과는 다중 대화 성적과 구분해 읽어야 했다. 배경 음성에 대한 반응과 대화 과제의 성적을 나눠 보는 해석이 필요했다.
배경 음성 오응답 비율의 범위
Pandaily에 따르면 MOSS-Live가 배경 음성에 잘못 응답한 비율은 2%였다. 여기서 수치가 가리킨 대상은 배경 음성에 대한 오응답이었다. 이를 대화 과제 전체의 오류율로 바꿔 읽어서는 안 됐다.
Pandaily 보도에서 배경 음성 오응답과 다중 대화는 서로 다른 결과를 보였다. 따라서 배경 음성에 대한 반응만으로 대화를 이어 가는 능력까지 설명하기는 어려웠다. 오응답 비율의 의미는 해당 평가 범위 안에 두어야 했다.
다중 대화에서 달라진 우열
Pandaily에 따르면 다중 대화 과제에서는 GPT-Live-1이 MOSS-Live보다 앞섰다. 음성 이해에서 앞선 비교 상대는 Doubao였다. 두 결과를 함께 읽으면 MOSS-Live의 강점을 모든 음성 과제로 넓혀 설명하기는 어려웠다.
Pandaily가 전한 비교에서는 평가 영역마다 우위가 달랐다. 따라서 이 결과를 근거로 모델을 고른다면 먼저 필요한 과제를 정해야 했다. 선택의 기준은 앞선 지표의 존재보다 그 지표가 필요한 과제와 맞는지에 놓여야 했다.