속보01 / AI
활성화 함수 FAct 재사용해 이미지 분류 정확도 개선

연구진은 11월 20일 같은 구조의 새 모델에 FAct를 써 분류 정확도를 1.46%포인트 높였다고 발표했다.
논문에서 FAct는 신경망 신호를 변환하는 활성화 함수이다. 연구진은 모델과 함께 FAct를 학습한 뒤 함수의 매개변수를 고정해 새 모델에 적용했다.
논문에 따르면 고정한 FAct는 공통 학습 설정의 16개 조건 중 15개에서 가장 높은 평균 정확도를 기록했다. 함수별로 학습 설정을 조정한 실험에서는 16개 조건 중 11개에서 1위를 기록했다.
논문에서 같은 구조의 비교 기준은 기존 활성화 함수 GELU를 쓴 비전 트랜스포머(ViT)이다. 두 모델 모두 이미지 분류 데이터셋인 ImageNet-1K로 처음부터 학습했다.
연구진은 초록에서 고정한 FAct가 모델 학습 시간에 미친 영향을 공개하지 않았다.