속보02 / IT
AWS, 에이전트 평가 기준 통합하는 UAEF 공개
서로 다른 프레임워크의 실행 기록을 변환해 같은 지표로 비교하도록 설계했다.

AWS는 11월 12일 AI 에이전트 평가 도구 UAEF를 소개했다. 여러 프레임워크를 쓰는 개발팀이 같은 기준으로 변경 전후를 비교하도록 설계했다.
호환성. AWS는 프레임워크별 실행 기록을 공통 형식으로 변환한다고 설명했다. 변환한 기록은 도구 호출과 응답 품질 등 7개 영역의 36개 내장 지표로 평가된다.
AWS는 UAEF를 Apache 2.0 라이선스의 오픈소스로 공개했다고 밝혔다. 소개 글에서 Python 라이브러리와 웹 인터페이스가 같은 평가 엔진을 쓴다는 점이 확인된다.
AWS에 따르면 평가 대상 에이전트는 로컬에서도 실행된다. 결과 저장을 켜면 Amazon DynamoDB와 Amazon S3가 사용된다. 언어 모델을 심사자로 쓰는 평가는 Amazon Bedrock 호출로 처리된다.
AWS는 기존 평가 도구가 특정 프레임워크의 기록 형식에 묶여 재구축 부담이 생겼다고 설명했다. UAEF는 저장한 결과를 기준 실행과 비교해 품질이 떨어진 지표를 찾아내도록 설계했다.
AWS는 소개 글에서 릴리스 번호와 기존 코드의 호환성 변경 내역을 공개하지 않았다.