속보01 / AI
PERFARENA, 생성 코드의 실행 비용 평가
정답 여부에 실행 시간·메모리·에너지 측정을 더한 코드 평가 도구이다.
연구진은 11월 16일 PERFARENA를 7개 언어의 코드 성능을 평가하는 오픈소스 도구로 발표했다.
논문 초록은 대규모 언어 모델(LLM) 13개의 정답 코드 9,455개를 측정했다고 설명했다. 평가 항목은 정답 여부와 실행 시간, 최대 메모리 사용량, 에너지 소비량이다.
연구진은 유닉스 계열 환경에서 생성 코드를 실행하도록 설계했다고 설명했다. 판정 도구와 성능 측정 도구를 교체해도 평가 절차를 유지하는 구조이다.
연구진은 언어와 측정 지표별로 모델을 선택하도록 순위와 측정 코드를 공개했다고 밝혔다. 정답률이나 가격만으로 모델을 고르는 방식의 보완을 제시한 것이다.
연구진은 기존 코드 생성 평가가 대체로 정답 여부에 집중했다고 설명했다. 성능 중심 평가도 지원 언어가 적고 에너지 소비 측정은 드물었다고 지적했다.
모델별 실행 시간과 에너지 소비의 절대값은 논문 초록에서 공개하지 않은 항목이다.