속보01 / AI
확산 언어 모델 가속하는 블록 병렬 수정 기법 공개

연구진은 B3가 자체 수정형 확산 언어 모델에서 11.5-14.5% 빨라졌다고 발표했다. 11월 11일 공개된 논문에 담긴 연구진 공개 수치이다.
논문에 따르면 B3는 두 블록을 한 번의 모델 연산에서 병렬로 다듬는 방식이다. 모델이 다음 블록의 생성을 시작할 준비가 됐을 때 해당 블록을 여는 방식이다.
논문은 B3를 추가 학습과 별도 조절값 설정이 필요 없는 가속 방법으로 설명했다. 적용 대상은 생성 내용을 스스로 수정하는 블록 확산 모델이다.
연구진은 과제와 난도가 다양한 10개 데이터셋에서 평가했다고 밝혔다. 생성 품질은 기존 모델과 동등한 수준이었다고 보고했다.
논문이 비교한 기존 방식은 앞 블록의 수정이 끝나야 다음 블록을 시작하는 구조이다. 각 블록의 처리 속도는 가장 느린 문장 조각인 토큰에 달려 있다고 설명했다.
논문 초록은 속도 측정에 사용한 하드웨어를 공개하지 않았다.