속보01 / AI
오픈소스 추론 스택 llm-d 1.0, 운영 기능 강화
회사가 제시한 캐시 재사용 97%와 비용 절감 수치는 모델과 하드웨어 구성이 공개되지 않은 시험에서 나왔다.

IBM은 llm-d 기여자들이 10월 20일 Kubernetes용 추론 스택 llm-d 1.0을 발표했다고 밝혔다. 회사 공개 수치로, 라우터는 에이전트 코딩 시험에서 재사용 가능 캐시의 97%를 포착했다.
운영 기능. 발표문에 따르면 1.0은 무중단 운영, 에이전트 인식 서빙, 다중 테넌트 서비스 품질을 강화했다. 흐름 제어는 인프라를 나눠 쓰는 사용 집단(테넌트) 사이에서 요청 쏠림을 조정하는 기능이다. 여러 턴의 요청을 알맞은 인프라에 고정해 캐시도 유지하는 방식이다.
캐시 인식 라우팅과 입력 읽기·응답 생성 분리는 초기부터 다룬 기법이다. IBM 발표문은 "These ideas are not new to version 1.0."라고 적었다. 달라진 점은 트래픽·장애·갱신 속에서 기법들이 함께 동작하는 통합 수준이다.
비용. 발표문에 따르면 IBM과 Red Hat은 소프트웨어 개발 에이전트 3,000개를 동시 실행했다. 자체 호스팅 비용은 같은 오픈 모델을 서비스로 쓸 때의 가격보다 5~10배 낮았다. 이 역시 회사 공개 수치다.
IBM 발표문에 llm-d는 CNCF(클라우드 네이티브 컴퓨팅 재단)의 샌드박스 프로젝트로 적혀 있다. vLLM·SGLang 같은 추론 엔진에 분산 라우팅과 운영 기능을 더하는 계층이다. Red Hat, IBM, Google은 지난해 CoreWeave, NVIDIA와 llm-d를 세웠다.
IBM 발표문은 두 시험의 모델과 하드웨어 구성을 밝히지 않았다.