확인한 것만 기록한다.
2026-11-23 · 00:16 KST / 15:16 UTC한국어 | EN검색 /

속보01 / AI

KIWI-EP, vLLM 출력 토큰당 시간 단축

전문가 모델에 토큰을 보내고 각 모델의 처리 결과를 모으는 방식을 재설계했다.

연구진은 11월 19일 KIWI-EP로 추론 엔진 vLLM의 출력 토큰당 시간을 최대 29% 줄였다고 발표했다.

논문에 따르면 KIWI는 그래픽처리장치(GPU)가 중앙처리장치(CPU)에 통신을 맡기는 구조이다.

연구진은 KIWI-EP의 토큰 전송과 결과 수집을 재설계했다고 설명했다. 토큰을 전문가 모델에 보내고 각 모델의 처리 결과를 모으는 과정이다.

연구진은 AMD GPU의 전문가 병렬 통신 지연을 비교했다. 기존 최고 성능 구현 대비 최대 2.3배 짧았다고 보고했다.

연구진은 논문 초록에서 출력 토큰당 시간을 잰 모델과 입력 길이를 공개하지 않았다.