04 / 정책 · 분석
프롬프트 캐싱이 반복 입력 단가를 낮추는 방식
같은 시스템 프롬프트를 되풀이할 때 요청의 어느 부분에 낮은 단가가 붙는지 짚는다.

aiunplugged는 DEV Community에 반복 입력의 단가를 낮추는 프롬프트 캐싱 해설을 공개했다. 글이 제시한 캐시 입력 단가는 표준 입력 단가의 5%에서 50%다.
글에 따르면 캐싱 없이 같은 지시를 거듭 보내면 같은 내용에도 요청마다 표준 단가가 붙는다.
글은 요청 앞부분에서 되풀이되는 입력을 캐싱 대상으로 짚었다. 요금은 모델이 입력을 나눠 읽는 조각인 토큰 단위로 매긴다고 설명했다.
캐싱 대상이 되는 지시문
글에 따르면 프롬프트 캐싱은 프로그램이 모델을 호출하는 접점인 API에서 적용되는 기능이다.
글은 모델에 공통 지시를 주는 시스템 프롬프트를 요청 앞부분에서 반복되는 입력의 예로 들었다.
반복 호출로 쌓이는 토큰
글은 20,000토큰짜리 시스템 프롬프트를 하루 100번 보내는 경우를 예로 들었다. 캐싱을 쓰지 않으면 하루 200만 토큰이 표준 단가로 청구된다고 설명했다.
글이 설명한 과금 방식에서는 그중 캐시에서 재사용된 토큰에 낮은 단가가 적용된다.