확인한 것만 기록한다.
2026-11-23 · 00:13 KST / 15:13 UTC한국어 | EN검색 /

속보01 / AI

언어 모델 평가, 정답 점수 넘어 내부 처리 추적

지식 회상과 추론 과제에서 나타나는 내부 처리 차이를 평가에 반영하는 틀을 제안했다.

기사 내용을 바탕으로 만든 AI 삽화

Yang Wang 연구진은 11월 12일 arXiv에 제출한 논문에서 대규모 언어 모델(LLM)의 내부 처리 양상을 살피는 평가 틀을 제안했다.

연구진은 정보에 주목하는 정도를 나타내는 어텐션과 내부 활성화 신호를 결합했다. 모델이 정보를 내부에 표현하는 방식도 함께 살폈다. 이를 통해 지식 회상 중심부터 추론 중심까지 평가 과제의 특성을 분석했다.

논문 초록에 따르면 연구진은 모델 16개를 평가 과제 24개에서 평가했다. 대표 모델과 과제를 골라 내부 상태도 집중 분석했다. 지식 중심 과제와 추론 중심 과제 사이에서 체계적인 처리 차이를 관찰했다고 밝혔다.

연구진은 기존 평가가 데이터셋이나 과제별 성과를 보여주는 데 초점을 뒀다고 설명했다. 이런 점수에는 내부 처리 과정에 관한 정보가 부족하다고 지적했다. 새 평가 틀은 점수에 가려진 실패 양상을 드러내고, 평가 과제와 모델 선택을 돕도록 설계했다.

연구진은 초록에서 모델별 점수와 내부 처리 차이의 구체적인 수치를 공개하지 않았다.