02 / IT · 분석
중간층을 반복하는 Inkling 2 Mini 가중치 공개
회사 실험에서 연구용 모델의 반복을 늘리자 긴 문맥 과제 성적이 올랐다.
Hugging Face에 Inkling 2 Mini의 20GB급 파일이 올라왔다. 모델 카드는 "about 20GB"로 적었다.
Thinking Machines Lab은 오프라인 노트북에서 시연했다. 중간층은 가중치를 재사용했다.
회사는 연구용 모델로 반복 횟수별 효과를 비교했다.
토큰마다 반복하는 중간층
회사에 따르면 중간층은 토큰마다 세 번 돌았다.
회사에 따르면 양끝 블록은 한 번씩 돌았다. 중간 블록은 직전 결과를 받아 다시 처리했다.
실행 메모리. 모델 카드의 Apple silicon 지원 기준은 32GB 이상이다.
긴 문맥에서 오른 성적
회사 실험에선 반복이 늘자 긴 문맥 성적은 올랐고 지식 과제는 개선되지 않았다.
회사 실험에선 반복이 늘수록 추론 기록이 짧아졌다. 회사는 "stayed legible throughout"라고 밝혔다.
회사는 검색과 도구로 지식의 빈틈을 메웠다고 했다.