속보01 / AI
번역 모델 압축 뒤 처리 시간 최대 5.3배로 증가
논문 초록에 따르면 메모리 사용량은 줄었고 종합 번역 점수는 대체로 약 1점 이내에서 변화했다.
연구진은 11월 19일 번역 모델 압축 뒤 처리 시간이 1.3~5.3배로 늘었다고 arXiv에 발표했다.
논문 초록에 따르면 연구진은 하우사어·스와힐리어·요루바어 번역을 평가했다. 학습을 마친 모델의 수치 정밀도를 낮추는 양자화를 적용했다. NVIDIA T4에서 FP16을 기준으로 INT8과 INT4를 비교했다.
논문 초록에 적힌 INT4 메모리 사용량 감소 폭은 49~61%이다. 문자 단위 번역 점수인 chrF는 종합 기준으로 대체로 약 1점 이내에서 변화했다. 가장 큰 변화 폭은 2.19점이다.
논문 초록에 따르면 전용 번역 모델은 평가한 모든 언어에서 두 대규모 언어 모델보다 높은 점수를 기록했다. 하우사어와 스와힐리어에서 chrF 점수 격차는 32.7~43.3점이다.
연구진은 공개 초록에서 번역 오류 유형별 결과를 제시하지 않았다.