속보01 / AI
루마니아어 문법 평가서 학습 데이터별 성능 차이
같은 학습량에서 BabyBabelLM이 영상 자막보다 대체로 우세했으며, 초록은 독립 재현 결과를 보고하지 않았다.

연구진은 11월 16일 arXiv에 공개한 논문 BLiMP-RO에서 독립 재현 보고 없이 문장 쌍을 활용한 루마니아어 문법 평가 결과를 발표했다.
연구진은 언어학자가 만든 문장 쌍을 원어민 평가에 부쳤다고 보고했다(n=493, 원어민 평가). 사람이 검증한 반자동 생성 문장 쌍도 벤치마크에 포함했다고 보고했다(n=5,942, 사람 검증).
연구진은 루마니아어 BabyBabelLM 데이터와 어린이 대상 영상 자막으로 GPT-2와 GPT-BERT를 처음부터 학습시켰다고 보고했다.
연구진은 정확도가 약 9%포인트(자막 학습량 열 배 증가 조건) 개선됐다고 보고했다. 같은 학습량에서는 BabyBabelLM이 자막보다 대체로 우세했고, GPT-BERT는 GPT-2보다 일관되게 높은 성능을 보였다고 보고했다.
연구진은 학습량과 데이터 구성, 모델 구조가 루마니아어 문법 일반화에 영향을 준다고 주장했다.
논문 초록은 연구의 한계와 독립 재현 결과를 보고하지 않았다.