02 / IT · 분석
에이전트 그대로인데 화면 배포 뒤 야간 평가 실패
버튼 위치와 입력란 이름의 변경은 화면을 읽고 조작하는 평가의 호환성을 돌아보게 했다.

dev.to 게시글에 따르면, 글쓴이는 웹 화면 배포 뒤 컴퓨터 조작 에이전트의 야간 평가가 실패한 사례를 공개했다. 에이전트 자체는 바뀌지 않았다고 밝혔다.
같은 글에 따르면, 평가는 사내 웹 앱의 시험용 복제본을 대상으로 진행됐다. 에이전트가 그대로여도 평가 대상의 변화가 결과에 영향을 줄 수 있음을 시사했다.
글쓴이는 버튼 위치가 옮겨지고 입력란 이름이 달라졌다고 설명했다. 이 사례에서 주목할 변화는 에이전트가 조작하는 화면에서 발생했다.
화면을 읽는 평가의 호환성
호환성. 게시글에 따르면, 에이전트는 화면 캡처를 읽고 클릭과 입력을 수행했다. 버튼 위치와 입력란 이름의 변경은 이 조작 경로에 걸린 변화로 해석된다.
글쓴이는 에이전트가 작업 끝에 양식을 제출한다고 설명했다. 따라서 이 평가의 실패는 화면을 읽고 조작해 제출까지 이어지는 흐름 안에서 해석하게 된다.
배포 이력으로 넓어진 실패 분석
글쓴이는 평가 실행 기록을 살펴본 뒤 화면 배포를 파악했다고 전했다. 게시글에 따르면, 프런트엔드 팀은 평가 실패를 발견하기 전날 저녁 변경 사항을 배포했다.
게시글은 에이전트의 변경 없이도 평가 실패가 발생한 사례를 전했다. 이를 해석할 때는 에이전트의 변경 이력에 더해 평가 대상의 배포 이력도 함께 고려하게 된다.