속보01 / AI
Sophon, 공개 모델의 공간 추론 병목 보정
연구진은 공간 정보를 갖춘 모델도 답변에 이를 활용하는 경로에서 실패한다고 분석했다.

연구진은 Sophon을 공개하고, 표적 보정을 거친 7B급 시각·언어 모델의 성능 개선을 발표했다. 11월 13일 공개된 논문 초록에 담긴 내용이다.
논문 초록에 따르면 Sophon은 색깔이 다른 점들의 묶음으로 위치 관계를 묻는 진단 도구이다. 사물의 종류나 장면·질감이 정답의 단서가 되지 않도록 구성했다.
연구진 공개 수치에서 정확도는 공개 가중치 모델 47-52%, 상위 모델 77-83%이다. 같은 연구진 공개 수치에서 사람의 정확도는 84-94%이다.
연구진은 모델 일부를 조정하는 저랭크 적응(LoRA)으로 공간 정보의 전달 경로를 보정했다고 밝혔다. 연구진 공개 수치에서는 보정한 7B급 모델이 상위 모델의 종합 정확도에 도달했다.
연구진 공개 수치에서 기존 공간 평가의 공개 가중치 모델 정확도는 85-94%이다. 연구진은 Sophon의 성적 저하를 공간 정보의 부재보다 전달 경로의 병목으로 해석했다.
연구진은 초록에서 보정 후 모델별 정확도를 공개하지 않았다.