확인한 것만 기록한다.
2026-11-23 · 00:46 KST / 15:46 UTC한국어 | EN검색 /

01 / AI · 발표와 검증 · 분석

추가 학습 없는 언어 모델 가중치 복구 실험 공개

Pythia에서는 고정 투영법이 실시간 선택과 비슷한 성적을 냈고, 복합 결함에서는 두 절차가 같은 계열의 연산을 썼다.

연구용 모니터에 결함이 있는 언어 모델 가중치 행렬과 두 방식으로 복구한 행렬이 나란히 보이고, 복구 결과 아래에는 문장 완성 정확도를 나타내는 길이가 거의 같은 막대 두 개가 있다. AI 생성 이미지

연구진은 언어 모델 복구 세션 20건을 분석해 추가 학습 없는 가중치 수정법을 비교했다고 발표했다.

논문이 짚은 쟁점은 복구 대상의 반응을 보며 수정법을 고를 때 얻는 이점이다.

연구진은 외부 언어 모델이 예측 결과와 가중치 통계를 보고 수정법을 골랐다고 설명했다. 초록의 "projection recipes"는 가중치에 적용할 투영 연산을 정한 절차이다.

Pythia에 적용한 고정 투영법

연구진 공개 수치에서 Pythia의 문장 완성 정확도는 고정 투영법과 실시간 선택이 비슷했다. 같은 공개 수치에서 결과 점수로 수정법을 찾는 탐색은 두 방식보다 낮은 정확도를 기록했다.

연구진 공개 수치에서 SmolLM2와 Qwen2.5는 실시간 선택과 결과 점수 기반 탐색이 같은 성적을 기록했다.

복합 결함에 쓴 연산 계열

연구진은 별도의 복합 결함에서 미리 짠 절차와 언어 모델이 고른 절차를 비교했다. 두 절차에는 같은 계열의 연산("the same operator family")을 적용했다.

연구진 공개 수치에서 두 절차의 평균 정확도는 모두 24.89%에서 71.25%로 상승했다.

연구진은 결함을 넣지 않은 모델에 미리 짠 투영 절차를 적용해 별도로 시험했다. 연구진 공개 수치에서 성적은 소폭 오르거나 내렸다. 초록은 이 시험의 모델별 성적을 공개하지 않았다.