속보01 / AI
Mac Studio 4대로 816B 모델 구동 보고
Apple은 10월 15일 Mac Studio 4대로 Muse Spark Open의 초당 36.73토큰(8,192토큰 문맥)을 보고했고 독립 재현은 없다.
Apple 연구 블로그에 따르면 측정 도구는 mlx_lm.benchmark였다. 기기는 M5 Ultra 탑재 Mac Studio였다. 매개변수 규모는 Muse Spark Open 816B(활성 42B), Mistral Medium 3.5 128B, Qwen 3.8 27B로 보고됐다.
Apple에 따르면 기기 간 통신은 Thunderbolt 5 기반 RDMA(원격 메모리 직접 접근) 드라이버가 맡았다. 모델 각 층을 기기별로 나누는 텐서 병렬화를 적용했다. Apple은 4대 구성의 첫 토큰 대기 시간이 연결당 케이블 두 개일 때 40.6초, 한 개일 때 약 50.5초였다고 보고했다(65,536토큰 문맥).
Apple은 같은 모델의 2대 구성 속도를 초당 24.99토큰(텐서 병렬, 8,192토큰 문맥)으로 보고했다. 단일 기기 생성 속도는 M5 Ultra에서 M3 Ultra보다 1.6배 빨랐다고 Apple은 보고했다(Qwen 3.8·Mistral Medium 3.5). 첫 토큰 출력 속도는 M3 Ultra 대비 최대 4.6배 빨랐다고 회사는 보고했다(같은 두 모델, 8,192·65,536토큰 문맥).
Apple은 Muse Spark Open이 4비트 양자화(NVFP4)로도 약 493GB를 차지한다고 밝혔다. 중간 계산 메모리까지 더하면 512GB 기기 한 대에는 담기지 못한다고 덧붙였다. Apple은 65,536토큰 문맥의 준비 단계에서 2대 텐서 병렬이 2대 파이프라인 병렬보다 뒤처졌다고 보고했다.
Apple 외부의 독립 재현은 공개되지 않았다. Apple의 이전 글은 M5 구조와 GPU Neural Accelerator의 이점을 다뤘다. 이번 글은 여러 대로 나눈 실행 수치를 보고했다.
4비트 양자화가 Muse Spark Open의 답변 품질에 미친 영향은 Apple 글에 보고되지 않았다.