확인한 것만 기록한다.
2026-11-23 · 00:14 KST / 15:14 UTC한국어 | EN검색 /

속보01 / AI

Apple 논문, 영어 혼합 효과 아랍어 데이터 2~13배

데이터가 적은 언어의 사전학습에서는 설정값 조정보다 다른 언어 혼합의 개선 폭이 컸다고 논문은 밝혔다.

아랍식 격자창으로 햇빛이 드는 대학 컴퓨터실에서 연구자가 뒷모습으로 앉아, 흐릿하게 처리된 서로 다른 두 문자 체계의 글 단이 나란히 뜬 모니터를 보고 있다. AI 생성 이미지

Apple이 10월 13일 공개한 논문에서 영어 혼합 효과는 고유 아랍어 데이터 2~13배에 해당했다(회사 공개 수치). 이 배수는 과제 정확도 기준이고, 검증 손실(학습에 안 쓴 데이터로 잰 오차) 기준은 2~3배다(회사 공개 수치).

논문에 따르면 실험은 아랍어를 목표 언어, 영어를 보조 언어로 삼은 사전학습 약 1000회로 이뤄졌다. 모델 규모는 매개변수 150M개부터 1.43B개까지 네 가지이고, 저자에는 DTU 소속 연구자가 포함됐다.

논문에 따르면 혼합은 검증 손실과 과제 정확도 모두에서 초매개변수(학습 전에 정하는 설정값) 조정보다 개선 폭이 컸다. 논문은 이 격차가 모델이 클수록 벌어졌다고 밝혔다. 목표 언어 검증 손실은 혼합의 가치를 체계적으로 과소평가한다고 논문은 결론 내렸다.

연구진은 데이터가 풍부한 언어를 섞고, 설정값은 작은 모델에서 μP(규모 간 설정값 이전 기법)로 옮기라고 권고했다. 논문은 "prioritize the mixing ratio over hyperparameter tuning"이라고 적었다. 혼합 비율을 초매개변수 조정보다 먼저 다루라는 뜻이다.

논문에 따르면 세계 대부분 언어의 사전학습은 같은 데이터를 반복해 일반화 성능이 떨어지는 구조다. 처방 중 하나인 높은 가중치 감쇠는 가중치를 줄여 네트워크 용량을 제한하는 방식이다. 논문은 혼합이 학습 신호를 다양화하고 반복 데이터에 없는 지식도 보태며, 검증 손실은 앞의 효과만 포착한다고 설명했다.

아랍어·영어 외 언어 조합에 같은 배수가 적용되는지는 공개된 초록에 없다.