02 / IT · 분석
AWS의 LLM 게이트웨이 예산 차단 조건 공개
모델별 단가 설정이 비용 통제의 전제이며, 개발자의 키 직접 발급에는 Enterprise 버전이 필요하다.

AWS는 11월 13일 Amazon Bedrock과 LiteLLM을 묶은 구축 예제를 공개했다. 개발 도구의 대규모 언어 모델(LLM) 요청을 중앙에서 관리하는 구조이다. 개발자는 개인별 API 키로 모델을 호출하도록 구성했다.
AWS 설명에서 비용 통제의 전제는 모델별 단가 설정이다. 모델을 연결하는 것만으로 지출 한도가 적용되는 구조는 아니다. 예산을 기준으로 요청을 차단하려면 비용 집계부터 작동해야 한다는 뜻이다.
AWS 게시글은 무료 이용 범위와 키 자동 발급의 조건도 구분했다. 무료 게이트웨이의 이용 범위는 "up to five users"이며, 키 자동 발급에는 Enterprise 버전이 필요하다고 명시했다. 가상 키 지원과 개발자의 직접 발급은 별개 조건이다.
예산 차단을 좌우하는 모델 단가
AWS는 추론 프로필의 리소스 식별 주소인 ARN을 직접 쓰는 경우를 짚었다. LiteLLM이 기본 비용표에서 해당 단가를 찾지 못하면 비용을 0으로 처리한다는 설명이다. 이때 키별 지출도 0에 머물러 예산 제한이 작동하지 않는다고 밝혔다. 예제 설정에는 입력·출력 토큰의 단가를 따로 지정하는 항목이 적혀 있다.
AWS는 예산 한도에 도달한 키의 요청을 거절한다고 설명했다. 관리 화면에서는 사용자와 모델별 지출을 조회하도록 구성했다. 금액 기준의 예산은 요청 수와 토큰 수에 따른 호출 한도와 구분한 설계이다.
추론 요청이 처리되는 지역의 범위
AWS는 조직 정책이 허용하고 모델이 지원할 때 글로벌 교차 리전 추론을 권고했다. 이는 여러 AWS 지역으로 요청을 보내 처리 여력을 활용하는 방식이다. 지리적 교차 리전 추론은 정해진 지리 범위 안에서 처리하는 방식이라고 설명했다. 국내 조직의 도입 판단에서도 이 차이는 처리 지역에 관한 내부 정책과 맞물리는 지점이다.
AWS는 관측 도구인 Langfuse의 기록에 프롬프트와 응답이 포함될 수 있다고 설명했다. 기록을 켜기 전에 민감 정보 가림과 보관·접근 정책을 검토하도록 안내했다. 콘텐츠 필터링을 추가하는 구체 절차는 이번 설명에서 제외했다고 밝혔다. 이 설계에서 중앙 관리는 호출 창구를 모으는 일에 더해, 비용과 기록의 처리 규칙을 정하는 일이다.