AI 학습 서버와 추론 서버의 차이: 사양이 갈리는 기준

인프라 하드웨어 AI GPU
5 분 소요

GPU 서버를 알아보다 보면 같은 “AI 서버"인데 어떤 자료는 NVLink로 8장을 묶은 수억 원짜리 노드를 말하고, 어떤 자료는 몇백만 원짜리 카드 한 장이면 된다고 말합니다. 둘 다 맞습니다. 앞은 학습용, 뒤는 추론용 이야기이기 때문입니다. 이 글은 학습과 추론이 왜 다른 장비를 요구하는지, 사양이 갈리는 기준을 정리합니다. GPU 서버의 기본 구조와 GPU 이름 읽는 법에 이어지는 글입니다.

워크로드의 형태가 다릅니다 #

학습(training)은 배치 작업입니다. 대량의 데이터를 반복해서 흘려보내며 모델 가중치를 갱신하는 일이고, 며칠에서 몇 주 동안 GPU를 100%로 계속 돌립니다. 목표는 총 처리량, 즉 “며칠 만에 끝나는가"입니다. 개별 응답의 지연시간이라는 개념 자체가 없습니다.

추론(inference)은 요청 처리입니다. 사용자 요청이 도착하면 답을 만들어 돌려주는 일이고, 트래픽은 몰렸다 빠졌다 합니다. 목표는 지연시간 SLO 안에서의 처리, 즉 “첫 토큰이 몇 초 안에 나오는가, 초당 몇 요청을 받는가"입니다. 서버가 느린 이유 시리즈에서 다룬 지연시간 진단의 감각이 그대로 적용되는 쪽은 이쪽입니다.

배치와 요청 처리라는 형태 차이가, 아래의 모든 사양 차이를 만듭니다.

병목이 다릅니다: 통신 대 메모리 #

학습의 병목은 GPU 간 통신입니다. 큰 모델은 GPU 한 장에 안 들어가서 수십〜수천 장이 모델과 데이터를 나눠 들고, 매 스텝마다 그래디언트를 서로 교환합니다. 이 교환이 느리면 GPU들이 통신을 기다리며 놉니다. 그래서 학습 노드는 노드 안은 NVLink, 노드 사이는 InfiniBand/RoCE라는 고속 연결이 사양의 핵심이 되고, 이 연결이 플래그십(H100·B200급) 노드가 비싼 큰 이유입니다. 체크포인트를 쓰고 읽는 스토리지 대역폭도 학습 쪽에서 중요해집니다.

추론의 병목은 대개 메모리입니다. LLM이 토큰을 하나 만들 때마다 모델 가중치 전체를 VRAM에서 읽어야 하므로, 토큰 생성 속도는 연산 능력보다 메모리 대역폭에 좌우되는 경우가 많습니다. 요구 사항은 “모델이 VRAM에 들어가고, 대역폭이 목표 속도를 내는가"로 좁혀지고, GPU 간 통신은 모델이 한 장에 들어가는 한 아예 필요 없습니다. 그래서 NVLink 없는 추론 카드(L4, L40S)가 성립합니다.

정밀도가 다릅니다: 양자화라는 추론의 무기 #

학습은 그래디언트 계산의 수치 안정성 때문에 BF16 같은 비교적 높은 정밀도가 기본입니다(최신 세대는 FP8 학습도 씁니다). 반면 추론은 학습이 끝난 가중치를 읽기만 하므로, INT8·FP8·4비트로 낮추는 양자화가 품질 손실을 감수할 만한 수준이라 실무에서 널리 쓰입니다.

이것이 장비 선택에 주는 의미가 큽니다. 양자화는 필요 VRAM과 메모리 대역폭 요구를 절반, 4분의 1로 줄이므로, 같은 모델도 추론은 학습보다 훨씬 작은 GPU에서 돌 수 있습니다. 70B 모델의 학습에는 플래그십 노드가 필요하지만, 4비트로 양자화한 70B 추론은 중형 GPU 두어 장에서 성립합니다. 구체적인 계산은 다음 글에서 다룹니다.

스케일 방향이 다릅니다: 업이냐 아웃이냐 #

  • 학습은 스케일업 + 밀결합 스케일아웃입니다. 통신 병목 때문에 GPU들이 가깝게(NVLink 도메인, 같은 InfiniBand 패브릭) 묶여 있어야 하고, 노드를 늘릴수록 네트워크 설계가 어려워집니다. GB200 NVL72처럼 랙 전체를 한 도메인으로 파는 제품이 나오는 이유입니다.
  • 추론은 소결합 스케일아웃입니다. 요청 단위로 쪼개지므로, 모델이 올라간 서버를 여러 대 두고 로드밸런서로 나누면 수평 확장이 됩니다. 트래픽에 따라 대수를 늘렸다 줄였다 하는 오토스케일링도 추론 쪽에서만 성립합니다.

가용성 관점도 갈립니다. 학습은 노드 하나가 죽으면 체크포인트에서 재시작하면 되는 배치 작업이지만, 추론은 사용자 대면 서비스라 일반 웹 서비스와 같은 이중화, 헬스체크, 배포 전략이 필요합니다.

비용 구조가 다릅니다 #

  • 학습 비용은 일시불에 가깝습니다. 프로젝트 기간에 대량으로 쓰고 끝나므로, 클라우드의 예약·스팟 용량이나 GPU 클라우드 임대가 잘 맞습니다. 스팟 중단은 체크포인트 재시작으로 흡수합니다. 상시 보유는 학습 파이프라인이 연중 도는 조직에서만 정당화됩니다.
  • 추론 비용은 고정비입니다. 서비스가 운영되는 한 계속 나가고, 트래픽이 낮은 시간의 유휴가 그대로 낭비가 됩니다. 그래서 추론 쪽의 실무는 활용률 관리가 중심이 됩니다. 배칭으로 GPU를 채우고, 오토스케일링으로 유휴를 줄이고, 트래픽이 작다면 자체 호스팅 대신 API 과금이 싼 구간인지 계산합니다.

겸용의 함정 #

“학습용으로 산 서버에 추론도 올리자"는 자연스러운 발상이지만, 두 가지 함정이 있습니다. 첫째, 요구 프로파일이 달라서 낭비가 생깁니다. 추론에는 과한 NVLink·InfiniBand에 돈을 냈는데 정작 추론 성능은 메모리 대역폭만큼만 나옵니다. 둘째, 간섭입니다. 학습이 GPU를 점유하는 동안 추론 지연시간이 SLO를 넘습니다. 겸용하려면 MIG로 GPU를 분할하거나(하드웨어 중급 #8), 시간대로 나누거나, 처음부터 풀을 분리하는 편이 운영이 단순합니다.

정리 #

  • 학습은 배치 작업(총 처리량), 추론은 요청 처리(지연시간 SLO)입니다. 이 형태 차이가 모든 사양 차이의 뿌리입니다.
  • 학습의 병목은 GPU 간 통신이라 NVLink·InfiniBand가 사양의 핵심이고, 추론의 병목은 대개 VRAM 용량과 메모리 대역폭입니다.
  • 추론은 양자화로 요구 사양을 크게 낮출 수 있어, 같은 모델도 학습보다 훨씬 작은 GPU에서 돌아갑니다.
  • 학습은 밀결합 확장(랙 단위), 추론은 로드밸런서 뒤의 수평 확장과 오토스케일링입니다.
  • 학습 비용은 일시적(스팟·임대가 유리), 추론 비용은 고정(활용률 관리가 핵심)입니다. 겸용은 간섭과 낭비를 만들기 쉬워 풀 분리가 기본입니다.

다음 글에서 이 차이를 숫자로 이어 가겠습니다. LLM 서비스를 자체 호스팅할 때 필요한 서버 규모를 VRAM 계산부터 추정합니다.

X