확인한 것만 기록한다.
2026-11-23 · 00:13 KST / 15:13 UTC한국어 | EN검색 /

02 / IT · 분석

모레, 추론 처리량 최대 1.66배 높인 기술 발표

작은 보조 모델이 토큰을 먼저 예측하면 대형 모델이 한꺼번에 검증하는 구조이다.

가상의 소프트웨어 엔지니어링 콘퍼런스에서 청중의 뒷모습 너머로 발표자가 코드 검토와 에이전트 승인 절차를 나타내는 화면을 설명한다. AI 생성 이미지

모레가 추론 처리량을 최대 1.66배 높인 기술을 SC26에서 발표했다고 테크M이 보도했다.

보도에 따르면 이 기술은 대규모 언어 모델이 텍스트를 순서대로 생성할 때 필요한 연산을 줄이는 접근이다.

테크M이 전한 연구의 대상은 자기 개선형 추론 프레임워크 TIDE이다. TIDE가 채택한 방식은 추측 디코딩이다.

보조 모델의 토큰 예측

테크M 보도에 따르면 작은 보조 모델은 텍스트 처리 단위인 토큰을 여러 개 미리 예측했다.

일괄 검증. 보도에 따르면 대형 모델은 보조 모델이 예측한 토큰을 한꺼번에 검증하는 역할이다.

최대 처리량의 비교 기준

테크M 보도에 따르면 모레가 처리량을 높이는 데 쓴 것은 추론 과정에서 발생한 데이터이다.

테크M이 전한 처리량 최대치에는 비교 대상이 명시되지 않았다.