확인한 것만 기록한다.
2026-11-23 · 00:20 KST / 15:20 UTC한국어 | EN검색 /

01 / AI · 발표와 검증 · 분석

지식 고정해 적용력 재는 한국어 LLM 평가 틀 공개

정확도 점수가 가리던 오답의 원인을 가르려는 설계이며, 평가 모델의 이름과 점수는 초록에 없다.

해 질 무렵 한국 대학 전산실에서 초점 밖의 연구자가 뒷모습으로 앉아, 모니터에 나란히 띄운 짧은 시험 문항과 더 복잡한 시험 문항을 살펴보고 있다. AI 생성 이미지

11월 9일 arXiv에 공개된 KLEAR는 지식은 고정하고 적용 난도만 높이는 한국어 LLM 평가 틀이다. 논문 초록에 따르면 대규모 언어 모델(LLM)의 오답 원인을 지식 부족과 적용 실패로 가르려는 설계다.

정확도 점수만으로는 모델이 지식을 몰랐는지 아는 것을 못 썼는지 가를 수 없다는 것이 연구진의 문제 제기다. KLEAR는 이 구분을 시험 문항의 설계 단계로 옮겼다.

연구진이 먼저 따진 것은 기존 한국어 시험이 실제로 무엇을 쟀는가였다.

사실 기억만으로 풀리는 기존 시험

연구진은 기존 한국어 벤치마크 문항 대부분이 "factual recall alone"으로 풀린다고 초록에 썼다. 사실을 기억해 내는 것만으로 답이 나온다는 지적이다.

연구진의 분석에 따르면 적용을 더 요구하는 문항은 필요한 지식까지 달랐다. 두 문항의 점수 차에서 적용 능력만 떼어 내기 어려웠다는 것이다.

같은 지식 위에 세운 어려운 문항

논문에 따르면 KLEAR는 원본 문항마다 필요한 지식을 기준 묶음으로 명시했다. 이 묶음을 토대로 더 복잡한 적용을 요구하는 문항을 생성했다. 결과물은 지식이 같고 적용 난도만 다른 대조 세트다.

연구진은 생성된 후보 문항을 자동 검증과 사람 검증에 올렸고, 평가 피드백을 받아 반복 수정했다고 밝혔다. 완성된 세트는 실험에서 의도한 제약을 대체로 충족했다는 것이 이들의 설명이다. 제약을 벗어난 문항의 비율은 초록에 없다.

지식을 줘도 남은 적용 실패

연구진은 지식을 맞춘 세트로 여러 LLM을 평가했고, 적용 난도를 높이자 모델의 실패가 드러났다고 밝혔다. 초록은 실패가 "even when the required knowledge is provided" 지속됐다고 썼다.

초록은 평가한 모델의 이름과 모델별 점수를 밝히지 않았다. 어느 모델이 적용에서 약한지는 그 수치가 가를 문제다. KLEAR의 질문은 몇 점인가가 아니라 왜 틀렸는가다.