GPU 클라우드 선택: 하이퍼스케일러 vs 전용 GPU 클라우드 vs 서버리스 추론

인프라 AI 비용
5 분 소요

GPU를 직접 잡아 쓰기로 했다면(손익분기 계산 참조) 다음 질문은 “어디서 빌리느냐"입니다. 같은 H100 한 장이라도 어디서 빌리느냐에 따라 시간당 요금이 2〜5배 차이 납니다. 결론을 먼저 적으면, AWS 안에 인프라가 이미 있고 통합·규제가 중요하면 하이퍼스케일러, 순수하게 GPU 원가가 목적이면 전용 GPU 클라우드, GPU를 직접 관리하기 싫으면 서버리스 추론입니다. GPU 서버 자체의 구조는 GPU 서버와 일반 서버의 차이에서 다뤘고, 이 글은 그 GPU를 조달하는 창구의 선택입니다. 요금은 2026년 중반 기준입니다.

세 갈래: 관리 수준이 다릅니다 #

GPU 조달 창구는 관리 수준으로 세 갈래입니다.

  • 하이퍼스케일러(AWS·GCP·Azure): GPU 인스턴스(AWS P5 등)를 다른 클라우드 리소스와 같은 계정·네트워크·IAM 안에서 씁니다. H100 GPU당 온디맨드로 하이퍼스케일러가 시간당 $4〜8 수준이고, AWS P5는 2025년 중반 인하 후 GPU당 약 $3.9입니다.
  • 전용 GPU 클라우드(Lambda·RunPod·CoreWeave 등): GPU 대여에 특화된 사업자입니다. H100이 온디맨드로 $2〜3.3(RunPod PCIe $1.99, Lambda $3.29 등), 스팟이면 $1〜2까지 내려갑니다. 같은 GPU를 하이퍼스케일러보다 2〜5배 싸게 줍니다.
  • 서버리스 추론(Together·Fireworks 등): GPU를 빌리는 게 아니라 토큰당 과금으로 모델 추론만 씁니다. 오픈 모델을 100만 토큰당 $0.05〜7(대개 $0.27〜3)에 호출하고, GPU 프로비저닝·관리가 아예 없습니다.

읽는 방향은 하나입니다. 왼쪽으로 갈수록 통합·관리가 붙고 요금이 비싸지며, 오른쪽으로 갈수록 순수 GPU 원가에 가까워지지만 직접 챙길 것이 늘어납니다.

요금 차이는 왜 2〜5배나 나나 #

하이퍼스케일러가 전용 GPU 클라우드보다 몇 배 비싼 이유는 GPU 성능이 달라서가 아닙니다(같은 H100입니다). 값에 포함된 것이 다릅니다. 하이퍼스케일러 요금에는 같은 계정 안의 VPC 네트워킹, IAM, 다른 매니지드 서비스(S3, RDS 등)와의 저지연 통합, 엔터프라이즈 SLA·컴플라이언스가 접혀 들어가 있습니다. 전용 GPU 클라우드는 그 통합을 덜어내고 GPU 그 자체에 집중해 원가를 내립니다.

그래서 판단은 “그 통합이 필요한가"로 좁혀집니다. 학습 데이터가 이미 S3에 있고 파이프라인이 AWS 안에 있으면, 데이터를 밖으로 빼는 전송 비용·지연·보안 검토가 전용 클라우드의 요금 절감을 상쇄하기도 합니다. 반대로 GPU만 독립적으로 필요한 실험·학습·배치라면 전용 클라우드의 원가 우위가 그대로 남습니다.

스팟: 절반 이하, 대신 중단을 감수 #

전용 GPU 클라우드와 하이퍼스케일러 모두 스팟(중단형) 요금이 있습니다. H100 스팟이 $1〜2까지 내려가 온디맨드의 절반 이하입니다. 대가는 언제든 회수될 수 있다는 것입니다.

  • 맞는 워크로드: 체크포인트를 저장하며 도는 학습, 중단 후 재개가 되는 배치 추론, 재현 가능한 실험입니다. 회수되면 다시 잡아 이어가면 됩니다.
  • 어긋나는 워크로드: 상시 응답을 해야 하는 프로덕션 추론 엔드포인트입니다. 사용자 요청 중에 GPU가 회수되면 서비스가 끊깁니다.

즉 학습 서버와 추론 서버의 구분이 여기서도 갈립니다. 학습·배치는 스팟으로 원가를 내리고, 상시 추론은 온디맨드나 예약으로 안정성을 삽니다.

서버리스 추론: GPU 관리를 통째로 없앤다 #

서버리스 추론은 GPU 시간당 과금 대신 토큰당 과금이라, 자체 호스팅의 GPU 관리 부담을 통째로 없앱니다. 모델을 고르고 API로 호출하면 끝이고, 스케일링·가용성·GPU 프로비저닝을 사업자가 처리합니다. 상용 API(OpenAI 등)와 다른 점은 오픈 모델을 자유롭게 고를 수 있고 대개 더 싸다는 것입니다.

경계는 손익분기와 같은 논리입니다. 가동률이 낮은 간헐 추론이면 서버리스가 GPU를 노는 시간 없이 쓰므로 유리하고, GPU를 24시간 포화시킬 처리량이면 전용 클라우드에서 GPU를 직접 잡아 배치로 돌리는 쪽이 토큰당 싸집니다. 배치 추론은 서버리스도 약 50% 할인이 있어 그 사이를 메웁니다.

선택 순서 #

  1. 규제·통합 요건부터 거릅니다: 데이터를 특정 클라우드 밖으로 못 내보내거나 기존 파이프라인 통합이 중요하면 하이퍼스케일러입니다.
  2. 관리 의사를 정합니다: GPU를 직접 운영할 인력·의사가 없으면 서버리스 추론입니다. 토큰당 과금으로 GPU가 사라집니다.
  3. 워크로드로 조달처를 정합니다: GPU를 직접 잡되 원가가 목적이면 전용 GPU 클라우드, 상시 프로덕션 추론이면 온디맨드·예약, 학습·배치면 스팟입니다.
  4. 가동률로 서버리스와 재비교합니다: 간헐 추론은 서버리스, 상시 포화는 직접 조달이 토큰당 쌉니다. 손익분기 계산을 그대로 적용합니다.
  5. 총비용으로 확인합니다: 전용 클라우드의 낮은 GPU 요금에 데이터 전송·통합 비용을, 하이퍼스케일러의 높은 요금에 통합 절감을 더해 총액으로 비교합니다.

정리 #

  • GPU 조달 창구는 관리 수준으로 세 갈래입니다. 하이퍼스케일러(통합·비쌈), 전용 GPU 클라우드(원가·직접 관리), 서버리스 추론(토큰당·관리 없음)입니다.
  • 하이퍼스케일러가 전용 클라우드보다 H100 기준 2〜5배 비싼 것은 GPU가 아니라 통합·SLA가 값에 포함되어서입니다. 그 통합이 필요한지가 판단 기준입니다.
  • 스팟은 온디맨드의 절반 이하지만 중단을 감수합니다. 학습·배치는 스팟, 상시 추론은 온디맨드·예약입니다.
  • 서버리스 추론은 GPU 관리를 없애는 대신 토큰당 과금입니다. 간헐 추론에 유리하고, 상시 포화는 직접 조달이 쌉니다.
  • 전용 클라우드의 요금 우위는 데이터 전송·통합 비용을 더한 총액으로 확인합니다. 순수 요금 비교는 절반의 계산입니다.
X