속보01 / AI
GPU 없이 64GB 램에서 284B DeepSeek 실행
파일을 56.56GiB로 줄인 대신 패치하지 않은 llama.cpp·Ollama·LM Studio에서는 실행할 수 없다.

llama-modchip 개발자는 매개변수 284B DeepSeek 모델을 GPU 없이 64GB 램에서 돌렸다고 썼다. 11월 배포된 v2.4.0 기준이며, 측정 장비는 Ryzen 9 9955HX다.
README에 따르면 표준 UD-IQ1_S 빌드 파일은 20.31GiB 감소했다(76.87GiB→56.56GiB). 줄이는 수단은 llama.cpp 패치와 변환 도구다. 문맥 창 256K 기준 실행 메모리는 57.61~58.9GiB이며 스왑은 0이다.
속도. 릴리스 노트에 따르면 프롬프트 입력 처리는 77.1% 향상됐다(초당 25.05토큰→44.36토큰, 개발자 공개 수치). 기본 설정의 답변 생성은 53.3% 향상됐다(초당 5.91토큰→9.06토큰, 개발자 공개 수치).
README는 기본 설정이 MoE(일부 전문가 신경망만 고르는 구조) 경로 6개를 모두 계산한다고 적었다. 출력 일치도인 로짓 코사인 유사도는 개발자 공개 수치로 1.00000이다. 이 값은 같은 56.56GiB 파일의 패치 전후 비교다.
표준 빌드 76.87GiB는 64GB 리눅스의 가용 램 약 62.5GiB를 넘는다고 README는 설명했다. 그 결과로 든 현상은 페이지 캐시 스래싱과 메모리 부족 강제 종료다.
호환성. README에 따르면 패치하지 않은 llama.cpp·Ollama·LM Studio는 Fractal-64 형식 모델을 거부한다. 표시되는 오류는 unknown tensor type 40이다. 전용 실행 수단은 ./modchip 명령과 Linux용 사전 컴파일 바이너리다.
56.56GiB 파일과 76.87GiB 빌드 사이의 답변 품질 차이는 개발자 벤치마크 표에 없다.