속보02 / IT
TensorRT 11.1에 모델별 자동 튜닝 기능 탑재
NVIDIA는 신경망 배포를 답이 여럿인 컴파일 문제로 규정하고 모델별 최적화 자동화를 내세웠다.

NVIDIA가 TensorRT 11.1의 자동 튜닝 기능을 10월 24일 소개했다. TensorRT 사용자는 모델별로 다른 최적화를 적용할 수 있게 된다.
NVIDIA 블로그에 따르면 기능 이름은 Global Performance Tuner다. 정확도를 고려한 전 과정 튜닝을 자동으로 수행한다. 최적화 구성은 모델마다 달리 맞춰진다.
NVIDIA 연재 1부에 따르면 배포는 연산자를 GPU 커널로 옮기는 일에 그치지 않는다. "It is a compilation problem with many legitimate answers."라고 적었다. 답이 하나가 아닌 컴파일 문제라는 뜻이다.
1부에 따르면 TensorRT는 엔진 빌드 때 여러 결정을 맞물려 내린다. 대상은 그래프 중간표현(IR) 변환, 연산 융합, 구현 선택, 메모리 배치, 양자화다. 이를 스케줄링이라 하며, 2부는 그 과제 설명을 1부에 맡겼다.