확인한 것만 기록한다.
2026-11-23 · 00:33 KST / 15:33 UTC한국어 | EN검색 /

속보01 / AI

의료 AI 평가서 지침 지식과 근거 활용 격차

중국어 기반 평가에서 임상 정보 식별보다 근거 연결과 권고안 작성 점수가 낮게 제시됐다.

병원 작업대에서 뒷모습의 의료진이 환자 검사 결과와 근거 자료, 작성 중인 AI 권고안을 나란히 검토하며 화면 내용은 읽히지 않는다. AI 생성 이미지

연구진은 11월 11일 공개한 논문에서 의료 AI의 지침 지식이 환자별 근거 활용을 보장하지 못했다고 발표했다. 평가 단계에 따라 모델 순위도 달라졌다고 보고했다.

논문에 따르면 임상 추론 평가 도구 Med Evidence Bench(MEB)는 의사가 만든 1,536개 문항으로 구성됐다. 지침 지식, 표준 임상 상황, 실제 검사실 상황으로 나눠 평가했다. 의학적 주장을 담은 채점 기준은 버전이 명시된 근거 원문 구간에 연결했다.

논문에서 실제 검사실 상황의 임상 정보 식별 평균 점수는 0.770으로 제시됐다. 근거 연결 점수는 0.165로 제시됐다. 권고안 작성 점수는 0.160으로 집계됐다.

논문은 자동 채점 결과를 의사들의 다수결 판정과 비교했다. 판정의 일치도를 평가한 분류 성능 지표인 매크로 F1 점수는 0.930으로 제시됐다. 근거 적용에 관한 판정에서는 일치도가 더 낮았다고 밝혔다.

논문은 중국어 기반의 이번 평가 결과가 실제 진료의 효과까지 입증하지는 못했다고 명시했다.