확인한 것만 기록한다.
2026-11-23 · 00:34 KST / 15:34 UTC한국어 | EN검색 /

01 / AI · 분석

크메르어 답변 채점에서 LLM 심판을 뺀 벤치마크 공개

채점 단계에서 심판은 빠졌지만 참조 답안은 여전히 LLM이 만들고, 사람 쪽 검증 기준은 원어민 한 명의 평가이다.

캄보디아 프놈펜의 사무실에서 한 사람이 창밖으로 사원 지붕이 보이는 책상에 앉아 노트북 화면에 흐릿하게 나열된 여러 답변을 뒷모습으로 비교하고 있다. AI 생성 이미지

크메르어 답변을 언어모델 심판 없이 채점하는 벤치마크가 아홉 개 모델 계열의 예시 답안을 써서 arXiv에 공개됐다. 연구진은 11월 9일 공개한 논문에서 이 벤치마크를 Khmer PFGen-Bench로 소개했다. 평가 대상은 여러 문장으로 이뤄진 답변이다.

서술형 답변을 평가하는 벤치마크는 대규모 언어모델(LLM)에게 채점을 맡기는 경우가 많다고 논문은 설명했다. 저자원 언어, 곧 학습에 쓸 데이터가 적은 언어에서는 LLM 심판의 신뢰성이 불확실하다고 썼다. 심판을 믿을지 불확실한 언어에서 규칙과 통계로 순위를 매길 수 있는지가 쟁점이다.

채점에서 심판을 뺀 대신 부담은 참조 답안, 곧 채점 기준이 되는 예시 답안으로 옮겨 갔다. 연구진이 논문에서 따로 검토한 것도 이 답안을 만드는 방법이다.

심판을 대신한 채점 규칙

채점기는 일본어 벤치마크 PFGen-Bench의 것을 크메르어에 맞게 고쳤다고 논문은 밝혔다. PFGen-Bench는 키워드 규칙과 n-그램 통계로 응답에 점수를 매기는 벤치마크이다. n-그램 통계는 잇따라 나오는 글자나 단어 묶음의 빈도를 세는 방식이다.

논문 설명에 따르면 응답을 읽고 판단하는 단계는 이 규칙과 통계가 맡았다. 다만 n-그램 통계의 기준이 되는 참조 답안은 LLM이 생성했다. 심판을 뺐어도 채점 기준은 여전히 LLM의 출력에 기댄 구조이다.

논문은 이 벤치마크를 "to our knowledge the first judge-free benchmark"라고 적었다. 최초라는 주장에는 연구진이 아는 범위라는 단서가 붙었다. 범위도 크메르어로 직접 쓴 질문에 대한 답변으로 좁혔다.

후학습 모델이 바꾼 참조 답안

이 채점에는 타당하면서 서로 다양한 참조 답안이 필요하다고 연구진은 설명했다. 크메르어에서는 LLM이 그런 답안을 만들지 못할 수 있다는 점이 출발점이다.

후학습 모델은 사전 학습을 마친 기반 모델에 추가 학습을 더한 모델이다. 논문에 따르면 이 모델은 기반 모델보다 더 타당하지만 덜 다양한 참조 답안을 낼 수 있었다. 논문에 따르면 같은 참조 답안 수에서는 모델 계열을 섞으면 다양성이 늘었다.

벤치마크에 쓴 참조 답안은 아홉 개 계열의 후학습 모델에서 나왔다고 논문은 밝혔다. 후학습 모델의 타당성과 계열 혼합의 다양성을 한 구성에 묶은 셈이다. 계열별 참조 답안 개수는 논문 초록에 없다.

원어민 평가와 맞춰 본 순위

연구진 공개 결과에 따르면 이 구성은 참조 답안 세트를 바꿔도 모델 순위가 안정적이었다. 이 순위는 연구진 공개 결과 기준으로 원어민 한 명의 평가와도 부합했다.

연구진은 이번 결과를 다른 저자원 언어용 심판 없는 벤치마크의 지침으로 제시했다. 다만 사람 쪽 검증 기준은 원어민 한 명의 평가이다. 모델별 점수와 순위표는 논문 초록에 없다.