02 / IT · 분석
모레, 추론 처리량 최대 1.66배 높인 기술 발표
작은 보조 모델이 토큰을 먼저 예측하면 대형 모델이 한꺼번에 검증하는 구조이다.

모레가 추론 처리량을 최대 1.66배 높인 기술을 SC26에서 발표했다고 테크M이 보도했다.
보도에 따르면 이 기술은 대규모 언어 모델이 텍스트를 순서대로 생성할 때 필요한 연산을 줄이는 접근이다.
테크M이 전한 연구의 대상은 자기 개선형 추론 프레임워크 TIDE이다. TIDE가 채택한 방식은 추측 디코딩이다.
보조 모델의 토큰 예측
테크M 보도에 따르면 작은 보조 모델은 텍스트 처리 단위인 토큰을 여러 개 미리 예측했다.
일괄 검증. 보도에 따르면 대형 모델은 보조 모델이 예측한 토큰을 한꺼번에 검증하는 역할이다.
최대 처리량의 비교 기준
테크M 보도에 따르면 모레가 처리량을 높이는 데 쓴 것은 추론 과정에서 발생한 데이터이다.
테크M이 전한 처리량 최대치에는 비교 대상이 명시되지 않았다.