확인한 것만 기록한다.
2026-11-23 · 00:16 KST / 15:16 UTC한국어 | EN검색 /

01 / AI · 분석

영어 토큰 줄인 다단어 학습, 모델 평가는 남았다

연구진은 압축 효과를 보고했지만, 이를 적용해 학습한 모델은 평가하지 않았다.

캄보디아 프놈펜의 사무실에서 한 사람이 창밖으로 사원 지붕이 보이는 책상에 앉아 노트북 화면에 흐릿하게 나열된 여러 답변을 뒷모습으로 비교하고 있다. AI 생성 이미지

연구진은 FLORES-200에서 영어 토큰 6.1% 절감을 발표했다. 어휘 수를 맞춰 셌고, 모델 평가는 제외했다.

논문은 인도 언어의 토큰 수 격차를 짚었다. 같은 내용도 영어보다 제공 비용과 시간이 든다고 설명했다.

연구진은 Havon v4에 다단어 학습을 추가했다. 여러 단어를 묶는 방식의 효과를 언어별로 비교했다.

압축 뒤에 남은 모델 평가

연구진은 결과를 압축 실험으로 한정했다. Havon v4·v5로 학습한 모델은 평가하지 않았다.

논문은 GPT-4o와 같은 어휘 수로 비교했다. 같은 크기의 Havon v3는 영어 토큰을 더 사용했다.

문자 체계마다 달라진 절감 효과

논문은 영어·힌디어에서 다단어 학습의 효과가 컸다고 설명했다. 로망스어군에서도 큰 개선을 보고했다.

반면 연구진은 띄어쓰기 없는 문자 체계의 한계를 짚었다. 크메르어·버마어·티베트어에서는 개선이 작았다고 보고했다.

연구진은 Havon v5의 코드 학습 구성을 바꿨다. 코드 토큰 수는 줄였지만 GPT-4o보다는 많았다고 보고했다.