LLM API vs 자체 호스팅: 손익분기 계산

인프라 AI 비용
5 분 소요

오픈 웨이트 모델을 직접 돌릴 수 있게 되면서 질문이 하나 생겼습니다. “API로 계속 쓰는 게 나은가, GPU를 잡아 직접 호스팅하는 게 나은가?“입니다. 답은 취향이 아니라 계산으로 나옵니다. 결론을 먼저 적으면, 대부분의 팀은 API가 맞고, 자체 호스팅은 상시 처리량이 GPU를 꽉 채우거나 프라이버시·규제 요건이 명확할 때의 선택입니다. 서버 규모 추정 자체는 LLM 자체 호스팅 서버 규모에서 다뤘고, 이 글은 그 앞에 놓이는 “직접 할 것인가"의 계산입니다. 요금은 2026년 중반 기준입니다.

과금 구조: 토큰당 vs GPU 시간당 #

API는 토큰당 과금입니다. 입력·출력 토큰 100만 개 단위로 값을 매기고, 안 쓰면 0원입니다. 중급 모델(예: Llama 3.3 70B 서버리스)이 100만 토큰당 입출력 각 $0.88 안팎, 프런티어 상용 모델(Claude Sonnet·GPT·Gemini Pro 급)은 입력 $2〜3, 출력 $12〜15 수준입니다. 인프라·확장·업그레이드가 전부 값에 포함됩니다.

자체 호스팅은 GPU 시간당 과금입니다. 토큰을 몇 개 뽑든 GPU를 잡고 있는 시간만큼 냅니다. H100 한 장이 하이퍼스케일러 온디맨드로 시간당 $4〜8, 전문 GPU 클라우드(Lambda·RunPod 등)로 $2〜3.3, 스팟이면 $1〜2까지 내려갑니다. 유휴 시간도 GPU를 잡고 있으면 그대로 요금입니다.

그래서 비교의 축은 하나로 좁혀집니다. GPU가 실제로 토큰을 뽑는 시간의 비율, 즉 가동률입니다.

손익분기: GPU 한 장이 하루에 뽑는 토큰 #

계산을 실제로 해 봅니다. H100 한 장에 vLLM으로 70B급 모델을 4비트 양자화해 올리면(양자화 비교 참조), 동시 요청을 배치로 묶어 초당 수백〜천 토큰대 처리량이 나옵니다. 넉넉잡아 초당 500토큰이면 시간당 180만 토큰, 하루 24시간 꽉 채우면 약 4,300만 토큰입니다.

  • 자체 호스팅 원가: H100을 전문 클라우드 온디맨드 $3/시간으로 잡으면 하루 $72. 4,300만 토큰을 뽑으니 100만 토큰당 약 $1.7입니다. 스팟 $1.5/시간이면 100만 토큰당 약 $0.8까지 내려갑니다.
  • API 단가: 같은 급 오픈 모델 서버리스가 100만 토큰당 $0.88 안팎.

여기서 핵심이 드러납니다. GPU를 24시간 꽉 채워야 자체 호스팅 원가가 API와 비슷해지거나 조금 쌉니다. 가동률이 절반이면 토큰당 원가는 두 배가 되어 API가 확실히 쌉니다. 하루 몇 시간만 트래픽이 몰리는 서비스라면 자체 호스팅은 노는 GPU를 사는 셈입니다. 반대로 배치·대용량 처리로 GPU를 상시 포화시키는 워크로드(대량 문서 분류, 임베딩 생성, 오프라인 요약)라면 자체 호스팅이 규모의 경제로 넘어갑니다.

분기점을 옮기는 변수들 #

  • 가동률: 위 계산의 전부입니다. 24시간 꽉 채우면 유리, 간헐이면 불리. 스케일 투 제로가 안 되는 상시 GPU가 자체 호스팅의 본질적 약점입니다.
  • 배치 처리: 실시간 응답이 필요 없는 작업은 배치로 GPU를 100% 채울 수 있습니다. API도 배치 할인(약 50%)이 있지만, 자체 호스팅은 배치로 가동률을 끌어올려 토큰당 원가를 직접 낮춥니다.
  • 양자화: 4비트로 내리면 같은 GPU에 더 큰 모델이 올라가거나 처리량이 올라, 토큰당 원가가 내려갑니다. 대신 정확도를 조금 내주므로 추론·코드 작업에는 주의가 필요합니다(양자화 비교 참조).
  • 모델 급: 프런티어 상용 모델(출력 $15/100만 토큰)을 대체하는 것과 중급 오픈 모델을 대체하는 것은 계산이 다릅니다. 프런티어급 품질이 필요한데 오픈 모델로는 안 되면, 자체 호스팅은 애초에 대안이 아닙니다.

숨은 비용: GPU 요금이 전부가 아닙니다 #

자체 호스팅 원가에는 GPU 시간당 요금 밖의 항목이 붙습니다. 모델을 올리고 업데이트하는 MLOps 인력, 가용성을 위한 이중화(GPU를 한 장 더), 트래픽 급증 대응, 신모델이 나올 때마다의 재검증이 상시 업무로 들어갑니다. API는 이 전부를 벤더가 흡수합니다. 데모와 프로덕션 사이의 운영 격차는 LLM 앱 운영 #1에서 다뤘는데, 자체 호스팅은 그 위에 인프라 운영이 한 층 더 얹힙니다.

거꾸로 API에도 숨은 항목이 있습니다. 프롬프트 캐싱(반복 프롬프트 약 90% 절감)을 안 쓰면 청구서가 부풀고, 레이트 리밋과 벤더 종속, 모델 버전이 예고 없이 바뀌는 리스크가 있습니다.

요금 밖에서 결정을 가르는 것 #

손익분기가 애매하면, 결정은 요금이 아니라 요건에서 납니다.

  • 데이터 프라이버시·규제: 데이터를 외부 API로 보낼 수 없는 의료·금융·기밀 환경이면, 원가와 무관하게 자체 호스팅(또는 VPC 내 전용 배포)입니다.
  • 지연: 온프레미스 GPU가 물리적으로 가까우면 네트워크 왕복이 사라집니다. 다만 API도 지역 엔드포인트로 상당 부분 좁혀집니다.
  • 커스터마이징: 파인튜닝한 가중치를 그대로 서빙하거나 특수 디코딩을 걸어야 하면 자체 호스팅이 자유롭습니다.
  • 팀 역량: GPU 서빙을 운영할 인력이 없으면, 원가가 조금 싸도 자체 호스팅은 실질적으로 더 비쌉니다.

선택 순서 #

  1. 요건부터 거릅니다: 데이터를 외부로 못 보내는 규제가 있으면 자체 호스팅 확정, 없으면 계산으로 넘어갑니다.
  2. 가동률을 추정합니다: GPU를 24시간 포화시킬 상시·배치 처리량이 있으면 자체 호스팅이 후보, 간헐 트래픽이면 API입니다.
  3. 모델 급을 맞춥니다: 오픈 모델로 품질이 되는지 먼저 확인합니다. 프런티어급이 꼭 필요하면 자체 호스팅은 대안이 아닙니다.
  4. 총원가로 비교합니다: GPU 시간당 요금에 이중화·운영 인력·재검증까지 넣고, API는 캐싱 적용 후 단가로 비교합니다.
  5. 하이브리드를 검토합니다: 기본은 API로 시작하고, 배치성 대량 작업만 자체 호스팅으로 떼어내는 조합이 흔한 최적점입니다.

정리 #

  • API는 토큰당, 자체 호스팅은 GPU 시간당 과금입니다. 비교의 축은 GPU 가동률 하나로 좁혀집니다.
  • H100 한 장을 24시간 꽉 채워야 자체 호스팅 원가(100만 토큰당 약 $1.7, 스팟이면 $0.8)가 오픈 모델 API($0.88 안팎)와 겨룹니다. 가동률이 낮으면 API가 확실히 쌉니다.
  • 배치·양자화로 가동률과 처리량을 끌어올리면 분기점이 자체 호스팅 쪽으로 이동합니다.
  • GPU 요금 밖의 운영 인력·이중화·재검증이 자체 호스팅의 실제 원가입니다. API의 숨은 항목은 캐싱 미적용과 벤더 종속입니다.
  • 손익분기가 애매하면 프라이버시·규제·지연·팀 역량이 결정을 가릅니다. 기본 API + 배치만 자체 호스팅하는 하이브리드가 흔한 최적점입니다.
X