확인한 것만 기록한다.
2026-11-23 · 00:22 KST / 15:22 UTC한국어 | EN검색 /

01 / AI · 분석

긴 문맥 AI 처리량 높인 토큰 병렬화 설계

모델을 나눠 배치하되 요청별 어텐션은 해당 서버에서 끝내는 구조가 처리량 비교의 핵심이다.

브뤼셀의 사무실 긴 탁자에 노트북 다섯 대가 나란히 열려 있고 그중 두 대의 화면만 밝게 빛나는 가운데, 초점 밖의 평가자가 뒷모습으로 이를 살펴보고 있다. AI 생성 이미지

연구진은 응답 토큰 병렬화 TKNP가 긴 문맥·다중 요청에서 최대 1.7배 처리량을 냈다고 발표했다. 문맥을 나누는 DCP와 GPU 수를 맞춘 논문 공개 수치이다.

논문은 긴 문맥의 동시 요청을 처리할수록 저장 공간과 어텐션 대역폭이 필요하다고 설명했다. 어텐션은 요청마다 저장된 문맥 정보를 참조하는 연산이다.

논문이 제안한 변화는 모델의 배치 위치와 어텐션을 담당할 서버를 분리하는 것이다. 모델 복제 없이 요청별 어텐션을 여러 서버로 확장하도록 설계했다.

모델은 나누고 요청은 제자리에

논문 초록에는 vLLM에 구현하고 최대 64 H100 GPU에서 평가했다고 적혀 있다. 평가 모델은 Llama 3.1 405B와 Nemotron-4 340B이다.

논문은 "weight placement"와 "attention ownership"의 분리를 제안했다. 모델 하나를 층별 묶음으로 나눠 서버에 배치한 구조이다. 각 묶음을 가진 서버가 전체 요청의 해당 층 프로젝션과 MLP 연산을 담당하도록 설계했다.

논문에 따르면 각 서버는 자신이 맡은 요청의 KV 캐시로 어텐션을 계산했다. KV 캐시는 문맥 처리에 필요한 정보를 저장하는 공간이다. 서버 사이에는 현재 토큰의 중간 계산값만 전달하도록 설계했다.

처리량을 가른 계산 결과의 취합

논문은 모델을 복제하는 데이터 병렬화 대비 최대 2.06배의 처리량도 보고했다. 같은 GPU 수를 쓴 긴 문맥·다중 요청 조건의 논문 공개 수치이다.

논문은 DCP가 문맥을 서버별로 나눈 뒤 어텐션의 부분 결과를 합친다고 설명했다. TKNP는 요청별 어텐션을 해당 서버에서 마쳐 서버 간 부분 결과 취합을 없앴다.

논문 초록은 성능 개선을 최대 배수로 제시했으며, 작업 조건별 처리량은 공개하지 않았다. 논문이 제시한 구조 차이는 이 최대값을 해석할 때 함께 볼 기준이다.