속보01 / AI
EU AI Act 평가서 전용 비서 다섯 중 둘만 기준 모델 앞서
전용 개발이 성능을 보장하지 못했다는 결과이며, 참가 시스템의 연동 코드와 과거 결과는 공개 범위에서 빠졌다.

EU AI Act 110문항 평가에서 전용 AI 비서 다섯 종 중 두 종만 기성 기준 모델을 꾸준히 앞섰다. Marco Virgolin 등 연구진이 11월 3일 arXiv 논문에 공개한 regenold 챌린지 수치다.
논문의 regenold 챌린지 공개 수치에 따르면 기성 기준 모델 세 종과 전용 비서 다섯 종이 평가를 받았다. 전용 비서는 상업 개발사 네 곳과 학계 참가자 한 곳의 제품이다. 다섯 종 가운데 평가 지표 전부에서 높은 점수를 기록한 비서는 한 종이다.
논문에 따르면 문항은 EU AI Act, 곧 Regulation (EU) 2024/1689를 다룬 서술형이다. 문항마다 모범 답안과 문항별 정답 기준, 기대 참조 조문이 붙었다. GitHub 저장소 문서에 적힌 평가 범위는 2026년 5월 1일 시점의 EU AI Act다.
채점. GitHub 저장소 문서에 적힌 종합 점수는 여덟 개 지표의 기하평균이다. 정확성과 문체 판정 모델의 기본값은 GPT-5.4다. 어려운 모드의 채점 대상은 고정 대화 아홉 차례와 질문, 사용자 반박 뒤의 마지막 답변이다.
연구진은 전용 개발만으로는 "does not guarantee better performance"라고 논문 초록에 썼다. 저자들은 규제 업무에서 LLM(대규모 언어 모델) 비서 평가가 매우 중요하다고 초록에 썼다.
공개 범위. regenold GmbH가 GitHub에 올린 데이터는 문항 워크북, 고정 대화 기록, EU AI Act 원문 PDF다. 코드와 벤치마크 주석의 라이선스는 Apache License 2.0이다. 내장 예시 기준 모델은 웹 검색 또는 RAG(문서 검색 결합)를 붙인 GPT-5.5 두 가지다.
저장소 문서에 따르면 참가 시스템의 연동 코드와 논문에서 다룬 과거 결과는 배포 대상이 아니다.