01 / AI · 분석
베트남어 문장부호 17종 비교, 추가 층 효과 엇갈려
여덟 에포크로 학습을 고정한 심사 전 결과로, 구조별 튜닝을 더했을 때 순위가 어떻게 바뀌는지는 보고되지 않았다.

심사 전 논문 PhoPunct는 베트남어 문장부호 복원 구조 17종을 비교했다고 보고했으며(토큰 22.1 million개), 독립 재현은 아직 없다. 저자들은 11월 9일 arXiv 초록에서 양방향 순환망(Bi-LSTM)과 조건부 무작위장(CRF) 층의 효과가 일정하지 않았다고 주장했다.
저자들은 이 결과를 근거로 구조 자체의 개선과 구조별 튜닝에서 나온 개선을 분리해 봐야 한다고 주장했다. 층을 더해 오른 점수를 곧바로 구조의 효과로 읽을 수 있는지를 묻는 문제 제기다.
초록에 따르면 측정 대상은 모델별 조정을 뺀 조건의 성능이며, 이 설계가 결과를 읽는 범위를 정한다.
여덟 에포크로 고정한 학습 조건
저자들은 News와 Novels 말뭉치의 라벨 토큰 22.1 million개를 평가에 썼다고 보고했다(News 19.9M, Novels 2.2M). 비교 대상 17종은 사전학습 Transformer 백본 네 종에 Bi-LSTM·CRF 층을 선택적으로 붙인 구조와 PhoPunct로 이뤄졌다. PhoPunct는 PhoBERT-large에 두 층을 모두 붙인 모델이다.
논문은 모든 모델이 같은 학습률로 여덟 에포크(학습 데이터를 한 번 훑는 단위)를 학습했고 구조별 튜닝은 빠졌다고 보고했다. 점수 차이는 각 구조의 최고 성능보다 정해진 학습 예산 안에서 낸 성능으로 읽는 편이 맞다.
여덟 쌍 비교에서 갈린 추가 층의 효과
저자들은 고정 예산 아래 두 층을 더해도 "does not reliably improve macro F1"라고 보고했다. macro F1은 문장부호 종류별 점수를 같은 비중으로 평균한 지표다.
논문은 도메인과 백본을 맞춘 여덟 쌍을 비교했다고 보고했다(여덟 에포크, 구조별 튜닝 없음). 그중 일곱 쌍에서 일반 Transformer 분류기가 Bi-LSTM-CRF 짝을 "matches or outperforms"한 것으로 측정됐다. 초록은 쌍별 점수 차를 보고하지 않았다.
최고 점수는 도메인마다 다른 구조에서 측정됐다고 논문은 보고했다. News에서는 PhoPunct가 macro F1 61.35로 가장 높았다(News 19.9M 토큰, 여덟 에포크). Novels에서는 CRF를 붙인 XLM-R이 50.18로 PhoPunct의 48.97을 넘었다(Novels 2.2M 토큰, 여덟 에포크). 두 층을 모두 붙인 PhoPunct가 News에서 앞선 만큼, 추가 층이 늘 불리하다는 해석도 어렵다.
구조별 튜닝이 바꿀 수 있는 결론
저자들은 두 층의 가치가 최적화 조건에 달려 있다고 주장하며 결론을 고정 예산 조건으로 한정했다. 구조마다 튜닝을 더했을 때 순위가 어떻게 바뀌는지는 초록이 보고하지 않았다.
이 결과는 아직 독립적으로 재현되지 않았다. 저자들은 소스 코드를 GitHub 저장소 aisia-research-lab/PhoPunct에 공개했다고 초록에 적었다.
논문은 베트남어 문장부호 복원이 비교적 작은 벤치마크에서 자주 평가돼 왔다고 지적하며 규모를 차이로 내세웠다. 규모를 키운 이번 비교가 남긴 것은 구조의 순위표보다 구조와 튜닝의 효과를 따로 재야 한다는 측정 과제에 가깝다.