속보02 / IT
NVIDIA, Ling-3.0-flash 병목 분석
NVIDIA는 배치 크기 1 평가에서 모델 가중치 읽기가 실행 시간을 좌우했다고 밝혔다.

NVIDIA가 10월 28일 블로그에서 Ling-3.0-flash의 DGX Spark 병목을 분석했다. 혼합 전문가(MoE, 입력마다 일부 신경망만 쓰는 구조) 모델 사용자가 참고할 내용이다.
블로그에 따르면 평가는 Inclusion AI 모델을 배치 크기 1로 돌려 진행됐다. NVIDIA는 프로파일링(실행 구간별 시간 측정) 결과 디코딩이 메모리에 묶였다고 밝혔다. 회사는 모델 가중치 읽기가 실행 시간을 좌우했다고 설명했다.
NVIDIA는 두드러진 연산으로 MoE 계산과 출력층 투영을 꼽았다. 출력층 투영은 모델의 출력 점수를 만드는 단계다.
블로그는 "Generating tokens faster starts with identifying what limits inference performance."라는 문장으로 시작한다. 성능을 제한하는 지점부터 찾아야 한다는 뜻이다. 제목에는 MoE 추론을 높이는 방법 3가지가 내걸렸다.
실행 환경. 블로그가 밝힌 평가는 DGX Spark에서 Ling-3.0-flash를 배치 크기 1로 돌린 경우다.