확인한 것만 기록한다.
2026-11-23 · 00:23 KST / 15:23 UTC한국어 | EN검색 /

01 / AI · 분석

CECAR, 전문가 선택 바꿔 기기 내 추론 가속

기존 캐시 기반 경로 선택에 전문가 재사용 예측을 반영한 설계이다.

기사 내용을 바탕으로 만든 AI 삽화

연구진은 CECAR의 초당 12.5토큰 공개 수치를 메모리 16 GB 그래픽카드 조건에서 발표했다.

연구진은 여러 전문가 모듈을 골라 쓰는 혼합 전문가(MoE) 모델의 기기 내 실행을 과제로 제시했다. 일부 전문가만 활성화해도 전체 전문가의 가중치를 메모리에 둬야 한다는 설명이다.

논문 초록에 적힌 CECAR의 설계는 전문가 선택과 캐시 관리를 함께 다루는 방식이다. 다시 쓰기까지의 간격을 예측해 전문가 선택에 반영하는 구조이다.

캐시 존재에서 재사용 예측으로

연구진은 최적 교체 정책에서도 캐시 적중률에 한계가 있다는 분석을 제시했다. 그 한계만으로는 지연 시간이 짧은 기기 내 추론에 부족하다고 설명했다.

논문은 "cache presence"와 "reuse distance"를 구별했다. 앞말은 캐시에 전문가가 있는지, 뒷말은 다시 쓰기까지의 간격을 뜻하는 표현이다.

초록에 따르면 기존 방식은 캐시 유무만 반영해 전문가 선택이 불안정해질 수 있다는 분석이다. CECAR는 기계학습으로 재사용 간격을 예측해 짧은 전문가의 선택과 실행을 우선하도록 설계했다.

SSD를 거친 추론의 비교 조건

논문 초록에 적힌 실험 대상은 Qwen3-30B-A3B 모델이다. 그래픽카드의 비디오 메모리에 없는 전문가는 반도체 저장장치(SSD)에서 가져오는 구성이다.

연구진은 일반적인 MoE 추론 대비 4.5배 가속을 공개 수치로 제시했다. 모델 전체를 주기억장치(DRAM)에 둔 비교 방식보다 토큰 생성 속도가 빠르다고 발표했다.

초록은 비교 방식의 초당 처리량과 출력 품질 비교 수치를 공개하지 않았다.