확인한 것만 기록한다.
2026-11-23 · 00:15 KST / 15:15 UTC한국어 | EN검색 /

속보01 / AI

의학 객관식 한 번에 푸는 모델 정답률 46.0%

언어 모델을 고정하고 질문과 보기의 유사도를 비교하는 부분만 학습한 결과이다.

연구용 모니터에 글자가 흐릿한 의학 객관식 문항과 보기 네 개가 보이고, 옆의 산점도에서는 질문을 나타내는 점과 가장 가까운 보기의 점이 가는 선으로 이어져 있다. AI 생성 이미지

연구진은 11월 19일 의학 객관식 평가에서 Qwen3-8B 기반 모델의 정답률이 46.0%라고 발표했다.

논문은 의학 객관식 문제 모음 MedMCQA로 모델을 평가했다고 설명했다. 모델은 질문과 보기를 벡터로 바꿔 질문에 가장 가까운 보기를 골랐다.

연구진은 질문과 보기의 짝을 섞자 정답률이 무작위 선택 수준으로 돌아갔다고 밝혔다. 연구진이 제시한 무작위 선택 정답률은 25.0%이다.

논문이 인용한 같은 문제 모음의 기존 보고 수치는 Flan-PaLM 57.6%와 Med-PaLM 2 72.3%이다. 두 모델의 평가 절차는 이번 연구와 달랐다고 논문은 밝혔다.

연구진은 언어 모델의 여러 층을 함께 읽는 방식만의 효과를 따로 제시하지 않았다.