01 / AI · 분석
CaDO, 인과 추론 데이터의 정답 오류 자동 보정
연구진은 질문을 검증 가능한 형식으로 바꾸고, 보정 과정에서 기존 정답을 얼마나 보존했는지 비교했다.

연구진은 CaDO가 18개 실험 조건 중 16개에서 가장 성능이 높은 기존 정제법을 앞섰다고 논문에서 발표했다.
연구진은 원인과 결과를 묻는 문항에서 정답 오류와 질문 유형의 편중을 지적했다. 보정 과정에서 맞게 붙은 정답을 바꾼 경우도 비교했다.
논문에서 보정의 출발점은 자연어 질문을 검증 가능한 인과 질의로 바꾸는 단계이다.
CLadder에서 언어 모델 판정기 대비 정답 오수정 감소율
| CLadder | 92.2 |
|---|
문항과 데이터셋의 진단 범위
논문에서 문항별 오류를 찾는 역할은 독립된 검토 에이전트에 배정했다.
연구진은 "query-type coverage"와 "label distributions"를 점검 항목으로 제시했다. 전체 데이터셋에서 질문 유형의 범위와 정답 분포를 살피는 기준이다.
논문의 보정 단계는 인과 규칙을 적용해 오류 문항을 고치는 절차이다. 별도의 에이전트가 협업해 새 문항을 만드는 구성이다.
보정 과정의 기존 정답 보존
연구진은 CLadder에서 CaDO가 대규모 언어 모델 판정기보다 맞게 붙은 정답을 더 적게 바꿨다고 논문에서 발표했다.
연구진은 두 방식이 맞게 붙은 정답을 잘못 바꾼 각각의 건수를 초록에 공개하지 않았다.