속보01 / AI
HintErase, 탐지 오류 보완하는 영상 자막 제거
원본 영상과 영역 안내를 함께 받아 놓친 자막을 지우고 잘못 지정된 배경은 보존하도록 학습했다.

HintErase 연구진은 11월 11일 arXiv에 영상 자막 제거 모델을 발표했다. 지울 영역을 잘못 짚어도 자막을 제거하도록 설계했다.
논문에 따르면 모델은 가리지 않은 원본 영상과 영역 안내를 함께 입력받도록 했다. 학습 때는 실제 탐지기가 낼 법한 오류를 영역 안내에 넣었다. 제거의 정답은 실제 자막 위치를 따르도록 했다.
연구진은 안내에서 빠진 자막도 제거하도록 모델을 학습했다고 설명했다. 안내가 잘못 덮은 배경은 보존하도록 했다. 장면에 원래 있던 글자도 지우지 않도록 학습했다.
논문에 따르면 긴 영상용 처리 과정에는 화면 전환 대응과 음성 처리를 포함했다. 영역 안내가 누락되거나 흔들리는 경우도 처리하도록 했다. 영상 길이와 무관한 메모리 사용량으로 처리하도록 구성했다.
논문은 기존 방식이 지정 영역 안을 다시 만들고 바깥은 복사한다고 설명했다. 논문은 이 때문에 기존 방식이 탐지기가 놓친 자막 획이나 테두리의 오류도 그대로 이어받는다고 설명했다. 글자 사이의 배경까지 제거 영역으로 잡는 문제도 지적했다.
논문 초록은 제거 성능을 수치로 비교한 결과는 공개하지 않았다.