속보01 / AI
시민의 AI 규칙 수정 돕는 AI-Voyager 제안
정부 문서의 근거 구절을 연결했지만 참여 연구에서 인용이 원문 확인으로 이어진 경우는 드물었다.
연구진은 11월 16일 arXiv 논문에서 AI-Voyager를 발표했다. 시민과 AI가 함께 AI 규칙을 이해하고 수정안을 만드는 시스템으로 제안했다.
논문에 따르면 이용자는 지역의 AI 채용 규칙을 찾거나 국가 AI 전략을 올리도록 했다. 영향을 받는 노동자의 관점에서 내용을 읽도록 구성했다. 답변의 근거 구절을 열고 수정안을 작성하는 기능도 포함했다.
연구진은 정부의 규칙과 정책을 담은 3,653개 문서를 검색 대상으로 삼았다. 문서는 페이지와 판본 정보를 유지한 구절로 나눴다. 정해진 범위에서 AI가 근거를 반복 검색하고 각 진술을 검증하도록 설계했다.
연구진은 연구 대상인 두 AI 법안을 처음 접한 24명을 대상으로 참여 연구를 진행했다고 보고했다. 참여자들의 수정 제안은 대부분 조항을 어떻게 적용할지 묻는 내용이었다. 인용은 근거가 있다는 신호로 받아들여졌지만 원문 확인으로 이어지는 경우는 드물었다.
논문에 따르면 관련 문서를 직접 찾아야 하는 새 질문 360개로 검색 성능을 평가했다. 필요한 근거를 찾아내는 지표인 매크로 재현율은 83.0%로 보고됐다. 가장 강한 비교 시스템은 80.5%, 반복 검색을 뺀 구성은 73.7%를 기록했다.
논문 초록은 참여자가 제안한 수정안의 실제 정책 반영 여부를 밝히지 않았다.