속보01 / AI
언어모델 가중치 이식으로 수학 추론 성능 개선
이식한 층이 추론 관련 구간과 많이 겹칠수록 개선 폭이 컸다는 연구 결과이다.

연구진은 11월 19일 세 언어모델 계열에서 일부 층의 가중치를 이식해 수학 추론 성능을 평균적으로 높였다고 발표했다.
논문 초록에 따르면 연구진은 대뇌피질 분석법으로 기본형과 추론 학습형을 비교했다. 전체 패턴은 대체로 비슷했고 변화는 연속된 층에 집중됐다고 보고했다.
연구진은 학습으로 정해지는 내부 값인 가중치를 지시 수행을 학습한 모델에 이식했다. 이식한 층이 추론 관련 구간과 많이 겹칠수록 개선 폭이 컸다고 보고했다.
연구진은 추론 성능이 오르기 시작할 때 해당 층 구간이 서서히 형성됐다고 보고했다.
연구진은 다른 구간을 이식할 때보다 추론 관련 구간을 이식할 때 모델이 기존에 풀던 문제를 더 많이 맞혔다고 보고했다.
연구진은 논문 초록에서 수학 추론 성능이 평균 얼마나 올랐는지 공개하지 않았다.