01 / AI · 발표와 검증 · 분석
AI가 AI 가중치 고치는 능력, 일부 최신 모델에 쏠려
구조화 응답 과제는 모든 시도를 막았고, 한 과제의 성공과 다른 과제의 성공은 상관이 낮았다.

11월 9일 arXiv에 공개된 IWIBench는 모델이 다른 모델의 가중치를 고치는 능력을 열 가지 과제로 재는 벤치마크다. 연구진은 논문 초록에서 Astra와 GPT-6.1 Sol이 나머지 모델을 크게 앞섰다고 밝혔다.
이 벤치마크가 재는 것은 가중치 내 주입(intra-weight injection)이다. 경사(모델 학습에 쓰는 가중치 조정 방향값) 계산 없이 가중치를 직접 고쳐 다른 모델의 행동을 바꾸는 방식이다. 연구진은 이 능력을 체계적으로 평가할 방법이 그동안 없었다고 썼다.
연구진이 내놓은 결과의 요지는 순위보다 편차에 있다. 능력은 일부 최근 모델에 몰렸고, 과제에 따라서도 크게 갈렸다.
최근 모델에서 갈린 편집 능력
시험 구조는 큰 편집 모델이 작은 대상 모델을 고치는 형태다. 대상은 대체로 Gemma 3 4B IT이고, 편집 모델은 가중치를 읽고 쓰는 도구 네 가지만 쓴다고 논문 초록에 적혀 있다. 텐서 접근 범위와 출력 생성·점검 예산에도 한도가 있다.
초록에 따르면 검증기는 제안된 패치를 깨끗한 환경에 적용한 뒤 수정된 모델과 원본을 비교한다. 목표 달성과 함께 대상 모델의 다른 능력을 보존하는 것도 조건이다.
연구진이 공개한 결과에서 폐쇄형과 가중치 공개형 최신 모델의 능력은 크게 갈렸다. 초록은 모델별 성공률을 밝히지 않았다.
GPT-5.6 Sol에서는 이 능력이 거의 드러나지 않았다고 연구진은 썼다. 이 시점 차이와 정성 분석을 근거로 연구진은 최근 학습에서 얻은 능력이라고 해석했다.
과제 종류가 가른 편집 성패
과제별 결과는 양 끝으로 벌어졌다. 연구진에 따르면 구조화된 응답 과제는 모든 시도를 막아 냈다. 답변 길이 조절 과제의 성공 해법은 하나뿐이었다.
반대로 별칭 습득과 재부호화 과제는 가장 잘 풀렸다고 연구진은 밝혔다. 한 과제군의 성공은 다른 과제군의 성공과 상관이 낮았다.
연구진은 이를 "an early and uneven capability frontier"라고 썼다. 초기 단계의 고르지 않은 능력 경계라는 뜻이다.
소형 모델에서 잰 초기 능력
논문은 편집 모델들이 반복해 쓴 전략도 다룬다고 초록에 적혀 있다. 결론부는 이 방식을 떠오르는 단계지만 이미 강력한 접근법으로 규정했다.
이 평가의 근거는 작은 대상 모델과 제한된 도구 조건에서 나왔다. 초록은 더 큰 모델에 같은 편집이 통하는지 밝히지 않았다. 구조화 응답이 전부 막힌 결과까지 합치면, 이 능력은 아직 과제를 가려 통하는 기술이다.