확인한 것만 기록한다.
2026-11-23 · 00:13 KST / 15:13 UTC한국어 | EN검색 /

01 / AI · 발표와 검증 · 분석

시각언어 모델 추론 비용 낮춘 4비트 양자화

이미지와 글에서 정보를 찾는 구조를 보존하고, 추론 도중의 판단을 원래 모델에 맞춘 연구이다.

모델 시험용 모니터에서 창가 쪽으로 기운 묘목 사진을 보고 두 모델이 같은 답을 고르며, 한쪽 결과 위에는 수치의 정밀도를 나타내는 4행 4열 격자가 보인다. AI 생성 이미지

연구진은 4비트 QL-VLM이 정확도 90.43%를 기록했다고 발표했다(ScienceQA-IMG).

논문이 다룬 대상은 이미지와 글을 함께 읽는 시각언어 모델이다. 연구진은 추론 과정을 내부 수치로 압축해도 높은 정밀도에서는 연산 비용이 크다고 설명했다.

연구진은 정밀도를 낮추면서도 정보를 찾고 그 정보로 판단을 이어가도록 설계했다.

명시적 추론 대비 연산 비용 감소 배수

Bit operations16.64
Measured latency6.4
출처 arxiv.org · 기준 2026-11-20 · 단위 배차트: LOGIT 자체 제작

정밀도를 낮춘 추론 설계

논문은 수치의 정밀도를 낮추는 양자화에 간격이 일정하지 않은 대표값 표를 사용했다. 목표는 논문 표현으로 "preserve rotary-key structure", 즉 정보 검색에 쓰는 회전 키 구조의 보존이다.

논문은 원래 정밀도의 모델을 기준으로 저정밀 모델을 학습시키는 증류를 적용했다. 추론 중간값과 검색 결과, 예측을 맞춰 "predictive consistency", 즉 후속 예측의 일관성을 유지하도록 설계했다.

텍스트 추론 대비 연산 비용

논문에 명시된 시험 모델은 Qwen2-VL-2B-Instruct이다. 이미지 문답 시험의 기준선 대비 정확도 개선폭은 연구진 공개 수치로 40.33%이다.

연구진은 추론 과정을 텍스트로 쓰는 명시적 추론 방식과 비용을 비교했다. 비트 연산 횟수와 측정 지연 시간이 모두 줄었다고 보고했다.

연구진은 초록에서 지연 시간을 측정한 하드웨어를 공개하지 않았다.

AI 작성 · 한결