확인한 것만 기록한다.
2026-11-23 · 00:29 KST / 15:29 UTC한국어 | EN검색 /

01 / AI · 분석

네이버, 멀티모달 학습 처리량 150.2%로 높여

비전 인코더 재구현과 이미지 부담 재배치가 이득을 끌어냈고, 결과는 30B 모델 하나에서 잰 회사 공개 수치다.

데이터센터 통로에서 랙 밖으로 빼낸 다중 GPU 서버 트레이 뒤로, 초점 밖의 기술자가 여러 사진 썸네일이 격자로 뜬 모니터를 바라보고 있다. AI 생성 이미지

멀티모달 학습 처리량이 기본 설정의 150.2%로 올랐다고 30B 모델을 학습한 NAVER Cloud가 밝혔다. 8월 18일 NVIDIA 개발자 블로그 글에 적힌 회사 공개 수치이며, 기준은 최적화 전 Megatron Bridge다. 지표는 GPU당 초당 처리 토큰 수이고, 실험은 NVIDIA B200 클러스터에서 진행했다.

이미지와 글을 함께 배우는 시각언어모델은 매 학습 단계에 이미지 처리 연산이 더해지는 구조다. 글에 따르면 기준선에도 같은 병렬화 설정을 적용했고, 최적화는 그 위에 차례로 쌓았다. 이 값의 의미는 장비 증설이 아니라 학습 경로 개선의 크기다.

NVIDIA 글에서 가장 큰 단일 개선 항목은 이미지를 토큰으로 바꾸는 비전 인코더다. 이 부품은 언어모델과 함께 학습되어 매 단계 시간에 직접 영향을 줬다.

최적화 단계별 처리량 이득(회사 공개 수치)

Storage I/O2.5
Pack reordering13.3
Activation recomputation5.4
Native encoder23.9
출처 developer.nvidia.com · 기준 2026-08-18 · 단위 %차트: LOGIT 자체 제작

가장 큰 몫을 낸 비전 인코더 재구현

연구진은 처음에 사내 비전 인코더를 Hugging Face 구현 그대로 연결했다고 썼다. 이 경로에서는 인코더가 Megatron 병렬화 바깥에 놓여 고해상도 이미지를 GPU 한 장이 감당했다. 활성값을 다시 계산해 메모리를 아끼는 기법으로 시퀀스 길이 한도를 8K에서 16K로 늘렸다.

다음 단계는 같은 인코더를 Megatron 블록으로 다시 구현한 작업이다. 메인 설정은 텐서 병렬화 TP=1, 전문가 병렬화 EP=8이다. NVIDIA 글은 이 설정의 처리량 이득이 Megatron의 최적화 커널에서 나왔다고 설명했다.

이 설정에서 최대 GPU 메모리는 164.7GB에서 166.3GB로 움직였다(회사 공개 수치). 설정을 TP=4, EP=2로 바꾸면 처리량은 Hugging Face 경로 100%에서 150.3%로 올랐다(회사 공개 수치). 최대 GPU 메모리도 103.1GB에서 97.3GB로 줄었다고 같은 글은 적었다.

GPU 사이 이미지 부담을 나눈 재배치

NVIDIA 글에 따르면 기본 패킹은 8K 고정 길이 시퀀스를 통째 샘플로 채워 효율 99.4%(회사 공개 수치)를 냈다. 이 방식은 언어모델 쪽 부하만 고르게 했고, 같은 길이의 묶음도 이미지 토큰 수는 달랐다. 이미지가 가장 많은 묶음을 쥔 GPU가 매 단계를 늦췄다.

연구진은 묶음을 이미지 토큰 수 기준으로 GPU 작업자 사이에 다시 나눴다고 썼다. 재배치는 전체 배치 경계를 넘지 않아 각 최적화 단계가 보는 샘플 집합은 그대로였다.

같은 글의 측정에서 이득을 가른 변수는 통신 방식이다. 묶음 교환을 기다리는 동기 방식의 이득은 1.7%(회사 공개 수치)에 머물렀다. 나머지 이득은 교환을 학습 연산과 겹쳐 돌린 비동기 설계에서 나왔다.

150.2%가 가리키는 범위

NVIDIA 글에 적힌 실험 대상은 Nemotron-3-Nano 스타일의 30B MoE 모델 하나이고, MoE는 여러 전문가 신경망을 나눠 쓰는 구조다. 데이터는 100개가 넘는 소스의 2조 개 이상 토큰으로, NAVER Cloud의 실제 학습용이다. 학습 시간 단축 폭과 클러스터의 GPU 장수는 회사가 공개하지 않았다.

같은 글은 구조가 같은 프로덕션 모델의 예로 HyperCLOVA X 32B Think를 들었다. 그러나 실험은 30B 모델로 진행했고, 결과를 제품군 전체로 넓힐 근거는 공개 자료에 없다.

두 회사 문서는 회사 공개 수치의 범위를 다르게 적었다. NAVER 기술 글은 "네 영역을 합치면 30B MoE VLM 기준 학습 처리량이 총 50.2% 향상했습니다"라고 적었다. NVIDIA 글은 해당 그림이 앞의 세 영역만 다룬다며 "섹션 4의 작업은 속도보다는 correctness에 관한 것이었고"라고 썼다.

동행미디어 시대는 11월 9일 NAVER Cloud의 발표로 이 결과를 보도했다. 같은 수치는 8월 18일 NVIDIA 글에 이미 올라 있었다.

컨텍스트 병렬화가 남긴 비용

네 번째 영역은 병렬화 오류 수정이었고, 수정분은 PR #4784로 Megatron Bridge에 들어갔다고 NVIDIA 글은 밝혔다. CP는 긴 문맥을 GPU 여러 장에 나누는 컨텍스트 병렬화이고, 이 영역의 결과는 대표 수치 밖에 있다.

컨텍스트 병렬화를 CP=1(16K)에서 CP=2(24K)로 넓히면 완화 전 38%의 비용이 생겼다(회사 공개 수치). Vision DP when CP는 CP=2 실행의 처리량을 100%에서 120%로 올렸다(회사 공개 수치). 이 기능은 이미지를 CP 그룹당 한 번만 인코딩한다고 같은 글은 설명했다.

NAVER는 NVIDIA와의 협력 첫 항목으로 Nemotron Coalition을 통한 프런티어 AI 모델 구축을 들었다. 아이뉴스24는 NVIDIA 조나단 코헨 부사장이 11월 9일 서울 행사에서 NAVER Cloud와의 모델 협력을 소개했다고 보도했다. 이데일리는 NAVER Cloud가 이 연합에 사전·사후학습 데이터와 강화학습 환경을 공유한다고 보도했다.

NAVER는 이 기반을 Omni 스타일 멀티모달 학습으로 넓히고 있으며 추가 결과를 공유할 예정이라고 NVIDIA 글에 밝혔다. 회사가 수치를 낸 대상은 모델 품질이 아니라 GPU가 소화한 토큰의 양이다. 이 속도 향상이 모델 품질에 남긴 효과와 협력 모델의 출시일은 공개 자료에 없다.