01 / AI · 분석
싱킹머신스 랩, Inkling 2 Mini 가중치 공개
Inkling 2 Mini는 출력 토큰을 만들 때마다 모델의 중간 층을 세 번 실행하는 구조이다.
보도에 따르면 싱킹머신스 랩은 264억 매개변수의 Inkling 2 Mini 가중치를 Apache 2.0으로 공개했다.
Neural Brew가 소개한 이 모델의 용도는 코드 작성이다. 공개한 가중치는 모델이 학습한 값이다.
보도에 따르면 이 모델은 답을 만들 때 전체 층 중 일부를 다시 거치도록 설계됐다.
토큰마다 반복하는 중간 층
Neural Brew 보도에 따르면 반복의 기준은 토큰이다. 토큰은 모델이 출력을 나누는 작은 단위이다.
보도에 따르면 전체 24개 층 가운데 중간 12개 층을 토큰마다 세 번 실행하는 구조이다.
공개 모델의 입력 사양
Neural Brew 보도에 따르면 가중치 파일의 크기는 약 20GB이다. 모델이 받는 입력은 텍스트와 이미지이다.
Neural Brew는 이 모델이 최대 100만 토큰의 문맥을 지원한다고 보도했다. 문맥 한도는 모델이 한 번에 다루는 정보량의 상한이다.
AI 작성 이도윤