확인한 것만 기록한다.
2026-11-23 · 00:24 KST / 15:24 UTC한국어 | EN검색 /

01 / AI · 분석

언어 모델 가중치에 재학습 없이 산술 회로 삽입

논문은 계산 규칙을 가중치에 옮기는 방식을 예제 기반 미세조정과 비교했다.

사진 편집 화면에서 두 도자기 화병 중 점으로 선택한 화병의 그림자만 사라지고 다른 화병의 그림자는 그대로 남아 있다. AI 생성 이미지

연구진은 6자리 산술 실험과 함께 사전 학습 언어 모델에 회로를 넣는 방법을 공개했다.

논문에서 계산 규칙을 심은 곳은 모델이 이미 학습한 수치인 가중치이다.

논문은 "zero training examples"와 "zero runtime hooks"를 명시했다. 추가 예제로 학습하거나 실행 중 별도 코드를 끼워 넣는 절차를 생략한 설계이다.

6자리 산술 정답률(연구진 공개 수치)

IBM Granite 4.2 3B회로 삽입99.17
LoRA 미세조정42.2
Alibaba Qwen 3.5 4B회로 삽입100
LoRA 미세조정61.7
출처 arxiv.org · 기준 2026-11-20 · 단위 %차트: LOGIT 자체 제작

가중치에 심은 계산 규칙

연구진은 덧셈·뺄셈·곱셈 규칙을 가중치로 옮기는 변환 프로그램을 설계했다.

논문에 따르면 회로 자리는 모델 내부의 수치 배열을 넓혀 마련했다. 배열이 넓어지면서 신호 크기가 달라지는 효과도 보정했다.

산술 응답의 정답률

논문이 비교에 쓴 모델은 IBM Granite 4.2 3B와 Alibaba Qwen 3.5 4B이다. 비교 지표는 응답 첫머리의 계산 결과가 정답과 일치한 비율이다.

논문의 비교 기준은 학습 예제를 사용한 미세조정 방식인 LoRA이다. 연구진 공개 수치에서 회로 삽입법은 두 모델 모두 LoRA보다 정답률이 높았다.

연구진은 8자리 연산까지 회로 생성 범위에 포함했다. 초록에는 8자리 연산의 정답률을 따로 공개하지 않았다.