속보01 / AI
스페인어 운임 협상 음성 AI 비교 결과 공개
금액 인식 오류율과 청취자 기준 응답 지연을 함께 비교한 연구이다.

연구진은 스페인어 운임 협상 AI를 구조별 77회, 전화망 없이 비교한 결과를 발표했다. 11월 17일 arXiv에 공개된 음성 에이전트 비교 논문이다.
논문에 따르면 Pipecat과 LiveKit은 음성 인식·언어 모델·음성 합성을 잇는 구조이다. GPT-Live는 별도 단계 없이 듣고 말하는 OpenAI 음성 모델이다. 실험은 모든 구조에 같은 화자의 녹음 47개를 재생하는 방식으로 진행했다.
논문의 청취자 기준 응답 지연 중앙값은 Pipecat 2,616.0 ms이다. LiveKit은 3,090.0 ms, GPT-Live는 2,444.8 ms이다. GPT-Live와 Pipecat 간 차이의 신뢰구간은 차이가 없는 경우도 포함한 값이다.
논문에 적힌 금액 인식 오류율은 Pipecat 13.01%, LiveKit 12.61%이다. GPT-Live의 금액 인식 오류율은 2.86%이다.
연구진은 도구 호출이 모든 구조에서 대기 시간을 0.9-1.1 s 늘렸다고 밝혔다. 이는 실험에서 구조 간 지연 차이보다 큰 값이다.
논문은 기본 설정의 Pipecat과 LiveKit이 짧은 맞장구에도 거의 매번 발화를 멈췄다고 설명했다. 상대가 끼어든 말을 협상 답변으로 처리한 사례도 기록했다. 연구진은 이 사례의 집계에 통계 검정을 적용하지 않았다고 명시했다.
연구진은 실제 전화망을 거친 응답 지연 측정값은 공개하지 않았다.