02 / IT · 분석
판단 모델이 바꾼 AI Gateway 요청과 지출
판단 모델의 요청 비중과 비용 비중이 갈라진 가운데, 신규 팀의 선택과 모델별 지출 점유율도 다른 방향을 보였다.

Vercel은 AI Gateway의 11월 보고서에서 판단 모델이 전체 요청의 26%를 차지했다고 발표했다. 지출 비중은 0.53%로 집계했다. 앱에 사용할 모델을 고르는 개발팀에는 요청량과 비용을 나눠 볼 근거를 제시했다.
Vercel은 판단 모델을 글을 생성하는 대신 분류·점수 산정·선택을 수행하는 모델로 설명했다. 보고서는 생성과 판단에 쓰이는 모델을 구분했다. 많이 호출되는 모델과 지출이 집중되는 모델의 차이를 함께 제시했다.
Vercel은 신규 팀의 선택에서는 Anthropic이 앞섰다고 발표했다. 반면 OpenAI의 지출 점유율은 상승했다고 설명했다. 보고서는 이용 팀의 범위와 지출 점유율을 별도로 집계했다.
판단 모델의 지출 비중은 0.53%
| Decision models | 전체 요청 비중 | 26 | |
|---|---|---|---|
| 전체 지출 비중 | 0.53 |
판단 모델이 바꾼 요청의 구성
Vercel은 판단 모델이 짧은 응답을 내놓고 토큰당 비용도 낮다고 설명했다. 판단 모델 요청 대부분은 TypeSafe AI의 Jev에 집중됐다고 발표했다. 보고서에서 요청량 확대는 같은 비율의 지출 확대로 이어지지 않았다.
Vercel은 판단 모델만 사용하고 텍스트 생성 모델에는 요청하지 않은 유료 팀도 집계했다. 판단 모델 이용률은 처리하는 토큰이 많은 팀에서 높게 나타났다고 설명했다. 이는 생성 모델에 음성 같은 기능을 덧붙이는 방식과 다른 이용 형태로 제시됐다.
보고서의 집계 설명에는 AI Gateway를 거친 익명·통합 트래픽을 사용했다고 명시했다. 유료 팀은 해당 월에 유료 요청이 발생한 팀으로 정의했다. 따라서 여기서 말하는 이용률의 범위는 AI Gateway의 유료 팀으로 한정된다.
신규 선택과 지출의 다른 방향
Vercel은 신규 팀이 첫 달에 언어 모델 요청을 가장 많이 보낸 회사를 우선 선택한 회사로 정의했다. 이 기준에서 Anthropic을 선택한 신규 팀이 OpenAI의 거의 두 배였다고 발표했다. 전체 유료 팀에서 두 회사의 이용 비중은 비슷해졌다고 설명했다.
Vercel은 지출 규모가 큰 팀 대부분이 두 회사의 모델을 함께 사용했다고 발표했다. 지출 점유율에서는 Anthropic이 앞섰지만 OpenAI도 비중을 늘렸다고 설명했다. 신규 팀의 선택과 지출 상위 팀의 모델 병용과 전체 지출 점유율을 구분한 집계가 된다.
보고서는 비용 산정 조건을 "Spend is estimated at published list prices; actual bills may differ."라고 명시했다. 지출은 공개 정가로 추산했으며 실제 청구액과 차이가 날 수 있다는 뜻이 된다. 따라서 이 보고서의 지출 점유율을 읽을 때는 정가 추정이라는 조건도 함께 적용된다.