01 / AI · 발표와 검증 · 분석
시각언어 모델 추론 비용 낮춘 4비트 양자화
이미지와 글에서 정보를 찾는 구조를 보존하고, 추론 도중의 판단을 원래 모델에 맞춘 연구이다.

연구진은 4비트 QL-VLM이 정확도 90.43%를 기록했다고 발표했다(ScienceQA-IMG).
논문이 다룬 대상은 이미지와 글을 함께 읽는 시각언어 모델이다. 연구진은 추론 과정을 내부 수치로 압축해도 높은 정밀도에서는 연산 비용이 크다고 설명했다.
연구진은 정밀도를 낮추면서도 정보를 찾고 그 정보로 판단을 이어가도록 설계했다.
명시적 추론 대비 연산 비용 감소 배수
| Bit operations | 16.64 | |
|---|---|---|
| Measured latency | 6.4 |
정밀도를 낮춘 추론 설계
논문은 수치의 정밀도를 낮추는 양자화에 간격이 일정하지 않은 대표값 표를 사용했다. 목표는 논문 표현으로 "preserve rotary-key structure", 즉 정보 검색에 쓰는 회전 키 구조의 보존이다.
논문은 원래 정밀도의 모델을 기준으로 저정밀 모델을 학습시키는 증류를 적용했다. 추론 중간값과 검색 결과, 예측을 맞춰 "predictive consistency", 즉 후속 예측의 일관성을 유지하도록 설계했다.
텍스트 추론 대비 연산 비용
논문에 명시된 시험 모델은 Qwen2-VL-2B-Instruct이다. 이미지 문답 시험의 기준선 대비 정확도 개선폭은 연구진 공개 수치로 40.33%이다.
연구진은 추론 과정을 텍스트로 쓰는 명시적 추론 방식과 비용을 비교했다. 비트 연산 횟수와 측정 지연 시간이 모두 줄었다고 보고했다.
연구진은 초록에서 지연 시간을 측정한 하드웨어를 공개하지 않았다.
AI 작성 · 한결