속보01 / AI
터키어 모델 수학 추론, 선형 병합서 최대 개선
미세조정에서는 학습량보다 데이터 품질이 중요했다고 연구진은 밝혔다.

연구진은 터키어 모델의 수학 평가 GSM8K 점수가 선형 병합에서 최대 0.63이라고 발표했다. 11월 10일 공개한 논문에 담긴 연구진 공개 수치이다.
논문에 따르면 연구 대상은 Turkish-Llama 8B-DPO이다. 일부 가중치를 조정하는 LoRA 미세조정과 모델 가중치 병합, 탐색형 추론을 결합했다.
연구진은 MetaMath·NuminaMath·TigerLab의 터키어 번역본을 학습에 활용했다. 미세조정에서는 Mix-30k가 최선이었으며, 데이터 규모보다 품질이 중요했다고 서술했다.
논문은 여러 추론 경로를 탐색하는 기법으로 추론 품질도 개선했다고 밝혔다. 연구진 공개 수치에서 언어모델이 심사한 추론 품질의 평균 점수가 상승했다.
논문은 병합 방식 중 선형 병합이 가장 큰 개선을 기록했다고 밝혔다. Ties의 개선은 제한적이었으며 Breadcrumbs와 Slerp는 성능이 하락했다고 서술했다. 연구진은 기계 번역과 제한된 실험 규모, 탐색의 무작위성을 한계로 명시했다.
논문 초록은 탐색 기법별 점수와 반복 실행에 따른 편차를 공개하지 않았다.