속보01 / AI
KIWI-EP, vLLM 출력 토큰당 시간 단축
전문가 모델에 토큰을 보내고 각 모델의 처리 결과를 모으는 방식을 재설계했다.
연구진은 11월 19일 KIWI-EP로 추론 엔진 vLLM의 출력 토큰당 시간을 최대 29% 줄였다고 발표했다.
논문에 따르면 KIWI는 그래픽처리장치(GPU)가 중앙처리장치(CPU)에 통신을 맡기는 구조이다.
연구진은 KIWI-EP의 토큰 전송과 결과 수집을 재설계했다고 설명했다. 토큰을 전문가 모델에 보내고 각 모델의 처리 결과를 모으는 과정이다.
연구진은 AMD GPU의 전문가 병렬 통신 지연을 비교했다. 기존 최고 성능 구현 대비 최대 2.3배 짧았다고 보고했다.
연구진은 논문 초록에서 출력 토큰당 시간을 잰 모델과 입력 길이를 공개하지 않았다.