01 / AI · 분석
연구진, RoCoKV 시험서 추론 속도 향상 보고
연구진은 추론 중 모델의 확신에 따라 KV 캐시 압축 강도를 바꾸도록 설계했다.
연구진은 AIME25 시험에서 RoCoKV가 전체 캐시 대비 1.27배의 속도를 냈다고 발표했다.
연구진은 대형 모델이 답을 찾으며 길게 이어가는 추론 과정이 비용의 대부분을 차지한다고 설명했다.
초록에 적힌 RoCoKV의 압축 대상은 KV 캐시이다.
확신에 따라 달라지는 압축 강도
연구진은 반복된 토큰도 "high attention scores"를 받을 수 있다고 썼다.
연구진은 모델의 확신이 낮을 때 메모리를 더 배정하고, 높을 때 압축을 강화했다. 최근 추론 내용과 비슷한 토큰의 영향도 줄이도록 설계했다.
연구진은 추론 실행 도구 vLLM에 "a drop-in plugin"으로 통합했다고 설명했다.
전체 캐시를 기준으로 한 속도 비교
초록에서 속도 수치를 공개한 모델은 DeepSeek-R1-Distill-Llama-8B이다. 비교 기준은 캐시를 전부 보존하는 Full-KV이다.
연구진은 긴 합성 시험에서 Full-KV 대비 1.43배의 속도를 기록했다고 발표했다. 같은 기준으로 일정 시간에 처리한 양인 처리량도 비교했다.
연구진은 캐시 용량을 제한한 시험에서 기존 압축 방식보다 정확도가 높았다고 발표했다. 연구진은 초록에 정확도 차이의 수치를 공개하지 않았다.