속보01 / AI
의료용 언어 모델 인증에 추론 단계 감사 제안
저자들은 정답 위주 평가가 잘못된 인과 추론을 놓칠 수 있다고 지적했다.

의료용 대규모 언어 모델을 다룬 검토 논문이 11월 20일 arXiv에 공개됐다. 저자들은 모델 인증에 추론 단계 감사를 포함하자는 제안을 발표했다.
저자들은 정답 위주 평가가 잘못된 인과 추론을 놓칠 수 있다고 지적했다. 인구집단 특성에 잘못 기대는 판단도 평가를 통과할 수 있다고 봤다. 여러 에이전트가 협업하거나 도구를 쓰는 시스템에서 초반 오류가 뒤 단계로 번질 가능성도 짚었다.
논문은 추론 단계마다 점수를 매겨 학습을 지도하는 방법을 검토했다. 형식 논리나 지식 그래프로 모델의 출력을 제한하는 방법도 다뤘다. 저자들은 오류가 생기는 지점에 맞춰 논리 규칙을 적용하는 설계를 제안했다.
논문에 따르면 기호적 규칙으로 출력을 차단하는 계층을 갖춘 시스템은 그 안에 담긴 지식의 범위에서 보장을 제공했다. 안전 지표 개선은 개별 연구에서 보고됐다. 연구는 주로 모의 환경이나 소규모 표본에서 이뤄졌다.
논문은 기존 신경망 모델과 직접 비교할 수 있는 안전성 결과를 제시하지 않았다.