속보02 / IT
NVIDIA, 디코딩 가속 노린 ReplaySSM 소개
Nemotron 3와 Qwen 계열처럼 SSM 층과 어텐션 층을 섞은 모델의 상태 저장 방식이 논의 대상이다.

NVIDIA가 10월 13일 개발자 블로그에 ReplaySSM을 소개했다. 하이브리드 모델 디코딩을 다루는 개발자를 겨냥해 상태 저장 방식을 다시 검토했다.
NVIDIA 블로그에 따르면 하이브리드 모델의 뼈대는 상태 공간 모델(SSM) 층이다. 그 사이에 소수의 어텐션 층이 들어간다. NVIDIA Nemotron 3과 Qwen3.5부터 Qwen3.8까지가 이 구조를 쓴다. Kimi-K3, GLM-5.3-Flash도 같은 구조로 만들어졌다.
SSM 층의 구현은 모델마다 다르다. 블로그는 Mamba-2와 Gated DeltaNet(GDN)을 예로 들었다. Kimi Delta Attention(KDA)도 이 자리에 쓰인다.
SSM 층은 애초에 디코딩을 빠르게 하도록 설계됐다고 블로그는 설명했다. 계속 커지는 키-값(KV) 캐시 대신 크기가 고정된 상태가 쓰인다.