하드웨어 고급 #5 데이터센터 전력 — 서버를 더 못 꽂는 진짜 이유

랙에 빈 칸이 다섯 칸 남았는데 신규 서버 반입 요청이 반려됩니다. 사유는 상면 부족이 아니라 전력 캐파 부족입니다. 데이터센터에서 서버를 더 못 꽂는 이유는 대부분 칸이 아니라 전기입니다. 이 장면을 이해하려면 서버에 꽂힌 전원 케이블의 반대쪽 끝, 즉 서버가 살아가는 전력 환경을 알아야 합니다.

4편까지는 서버 안쪽 이야기였습니다. CPU 파이프라인, eBPF, 메모리, ZFS 모두 케이스 뚜껑 아래에서 벌어지는 일입니다. 5편부터 7편까지는 서버 밖으로 나갑니다. 이번 글은 전기가 서버까지 오는 길을 따라가고, 6편은 그 전기가 전부 열이 되어 나간 뒤의 이야기인 냉각을 다루겠습니다.

서버 한 대의 전력 경로 — PSU 두 개와 A/B 피드 #

서버 뒷면을 보면 전원 공급 장치(PSU)가 보통 두 개 꽂혀 있습니다. 1+1 이중화 구성입니다. PSU 하나가 서버 전체 부하를 감당할 수 있고, 나머지 하나는 같은 부하를 받을 준비를 한 채 대기합니다. 한쪽이 고장 나면 무중단으로 다른 쪽이 전 부하를 이어받습니다.

이중화가 의미를 가지려면 두 PSU가 서로 다른 전원 계통에 연결되어야 합니다. 그래서 데이터센터는 랙까지 A 피드와 B 피드라는 독립된 두 전원 경로를 내려 줍니다. PSU 1은 A 피드에, PSU 2는 B 피드에 꽂습니다. 두 PSU를 같은 피드의 PDU에 꽂으면 PSU 고장은 막아도 피드 장애에는 통째로 죽습니다. 케이블 작업에서 의외로 자주 나오는 실수입니다.

여기서 운영에 중요한 함의가 하나 나옵니다. 정상 상태에서 A/B 피드는 각각 절반씩 부하를 나눠지지만, 한쪽 피드가 죽으면 남은 피드가 100%를 받아야 합니다. 그래서 각 피드는 평소 사용률을 절반 이하로 유지해야 합니다. 피드 하나를 80%까지 채워 쓰고 있었다면 그 이중화는 이미 깨져 있는 것입니다.

랙의 한계는 칸이 아니라 kW — 랙 전력 예산 #

표준 랙은 42U, 즉 마흔두 칸입니다. 1U 서버로 마흔두 대를 꽂을 수 있을 것 같지만, 실제로는 그 전에 전력 한도에 먼저 부딪힙니다. 전통적인 데이터센터의 랙당 공급 전력은 5〜10kW 수준입니다. 대당 500W를 쓰는 1U 서버라면 6kW 랙에는 열두 대에서 끝입니다. 나머지 서른 칸은 빈 채로 남습니다.

코로케이션 계약서를 보면 이 구조가 그대로 드러납니다. 계약 단위가 “랙 몇 개"가 아니라 랙당 몇 kW입니다. 같은 랙 하나라도 4kW 계약과 10kW 계약은 값이 다릅니다. 데이터센터 입장에서 진짜 원가는 바닥 면적이 아니라, 그 전력을 공급하고 같은 양의 열을 식혀 내는 설비이기 때문입니다. 상면은 남아도 전력은 남지 않습니다.

그래서 서버 반입 검토의 첫 질문은 “몇 U가 비어 있나"가 아니라 “그 랙의 전력 예산이 몇 kW 남았나"가 됩니다. 글 첫머리의 반려 사유가 바로 이것입니다.

PDU — 랙 안의 멀티탭이 아니라 측정 장비 #

피드에서 내려온 전기를 랙 안에서 서버들에 나눠 주는 장비가 PDU(Power Distribution Unit)입니다. 세로로 길게 콘센트가 줄지어 있어 멀티탭처럼 보이지만, 데이터센터급 PDU는 측정과 제어가 본업입니다.

• 계측형(metered) — 랙 전체 또는 아웃렛별 전류·전력을 실시간으로 측정하고 SNMP 등으로 내보냅니다. “이 랙이 지금 몇 kW를 쓰는가"라는 질문에 답하는 장비입니다.
• 제어형(switched) — 아웃렛 단위로 원격 켜기/끄기가 됩니다. 행이 걸린 서버를 데이터센터에 가지 않고 전원 차원에서 재시작할 수 있습니다.

운영 관점에서 PDU 계측은 전력 예산 관리의 눈입니다. 랙에 6kW가 배정되어 있는데 PDU가 5.2kW를 가리키고 있다면, 남은 예산은 0.8kW이고 500W 서버 한 대가 들어갈까 말까 한 상황입니다. 이 숫자 없이 명판 사양만 더해서 계산하면 예산을 크게 틀리게 됩니다. 이 문제는 아래 함정에서 다시 짚겠습니다.

UPS — 정전과 발전기 사이의 다리 #

상용 전원은 끊길 수 있고, 발전기는 시동에 시간이 걸립니다. 그 사이 몇 초에서 몇 분을 배터리로 버티는 장비가 UPS(무정전 전원 장치)입니다. UPS의 역할은 정전을 오래 버티는 것이 아니라, 발전기가 부하를 받을 때까지 전원을 공급하는 완충 장치입니다. 그래서 데이터센터 UPS의 배터리 용량도 보통 5〜15분 분량입니다.

방식은 크게 둘로 나뉩니다.

온라인 더블 컨버전은 들어온 전기를 항상 직류로 바꿨다가 다시 교류로 만들어 내보냅니다. 부하는 언제나 UPS가 만든 깨끗한 전기만 보므로, 정전 순간에도 전환이라는 사건 자체가 없습니다. 변환 손실로 효율은 다소 떨어지지만, 전압 흔들림과 노이즈까지 걸러 주기 때문에 데이터센터는 이 방식을 씁니다.

발전기와 ATS — 몇 분 뒤를 책임지는 쪽 #

UPS가 확보해 주는 몇 분 동안 일어나는 일이 발전기 기동입니다. 데이터센터 옥외나 별도 층에 있는 디젤 발전기가 시동을 걸고 정격 출력까지 올라오는 데 보통 10초에서 1분 안팎이 걸립니다.

상용 전원과 발전기 사이의 전환은 ATS(Automatic Transfer Switch, 자동 전환 스위치)가 맡습니다. ATS는 상용 전원의 상실을 감지하면 발전기에 기동 신호를 보내고, 발전기 출력이 안정되면 부하를 그쪽으로 넘깁니다. 상용 전원이 복구되면 다시 되돌리는 것까지가 ATS의 일입니다.

정리하면 정전 시나리오의 시간축은 이렇습니다. 정전 발생, UPS가 즉시(또는 무전환으로) 부하를 받음, ATS가 발전기를 기동, 수십 초 뒤 발전기가 부하 인수, 이후는 연료가 있는 한 운전입니다. 그래서 데이터센터 등급 평가에는 발전기 연료 보유 시간과 재급유 계약까지 들어갑니다. UPS 배터리가 아무리 커도 발전기가 못 뜨면 몇 분짜리 유예일 뿐입니다.

PUE — 전기가 IT까지 오는 데 붙는 세금 #

데이터센터 효율을 말할 때 가장 자주 나오는 지표가 PUE(Power Usage Effectiveness)입니다. 정의는 한 줄입니다.

PUE = 시설 전체 전력 / IT 장비 전력

서버·스토리지·네트워크 장비가 1MW를 쓰는 데 시설 전체가 1.5MW를 끌어온다면 PUE는 1.5입니다. 차이인 0.5MW는 IT가 아닌 곳, 그중에서도 대부분 냉각이 가져갑니다. UPS 변환 손실과 조명도 분자에 들어가지만, 분자를 키우는 주범은 냉각 설비입니다. 이상값은 1.0이고, 업계 평균은 1.5 안팎, 하이퍼스케일 사업자들은 1.1 수준까지 내려와 있습니다.

운영자에게 PUE는 비용 지표입니다. PUE 1.5인 시설에서 서버 전기 요금이 100이라면 실제 청구되는 전기는 150에 해당합니다. 서버 한 대의 전력을 줄이는 일은 그 자체로 끝나지 않고 냉각 전력까지 함께 줄입니다. 냉각이 왜 분자를 그렇게 키우는지, 그리고 어떻게 줄여 왔는지는 6편의 주제입니다.

GPU 서버와 전력 밀도 — 랙당 수십 kW의 시대 #

전통 랙이 5〜10kW로 설계되던 시절의 기준을 GPU 서버가 완전히 깨뜨렸습니다. 중급 #8에서 본 8-GPU 학습 서버는 한 대가 10kW 안팎을 씁니다. 전통 랙이라면 한 대 꽂으면 끝나는 양입니다. 최신 GPU 통합 랙은 랙 하나가 100kW를 넘기도 합니다. 일반 서버 랙 열 개 분량의 전력이 한 랙에 모인 셈입니다.

이것이 AI 데이터센터 이야기가 늘 전력 이야기로 흘러가는 이유입니다. GPU를 살 돈이 있어도 그 GPU에 먹일 전력과, 같은 양의 열을 식힐 설비가 없으면 꽂을 곳이 없습니다. 기존 데이터센터 상면에 GPU 랙을 들이려면 수전 용량 증설부터 시작해야 하고, 신축이라면 입지 선정 단계에서 변전소와 송전망 확보가 서버 발주보다 먼저 옵니다. 전력 밀도가 높아지면 공기로 식히는 방식 자체가 한계에 부딪히는데, 이 부분도 6편에서 잇겠습니다.

자주 만나는 함정 #

• 명판 전력으로 예산을 계산한다 — 서버 명판이나 PSU 정격(예: 750W)은 최댓값 기준이고, 실제 소비는 그보다 한참 낮은 경우가 많습니다. 명판 합산은 예산을 과대 계상해 랙을 비워 두게 만들고, 반대로 실측 평균만 보면 피크 때 차단기가 떨어집니다. 기준은 PDU 실측의 피크값입니다.
• 두 PSU를 같은 피드에 꽂는다 — PSU 이중화는 살아 있어도 피드 이중화가 죽습니다. 케이블 정리 후, 장비 이설 후에 의외로 자주 발견되는 상태입니다.
• 피드 한쪽을 절반 넘게 채운다 — A/B 구성의 전제는 한쪽이 전체를 받을 수 있다는 것입니다. 평소 사용률이 50%를 넘는 피드는 장애 시 과부하로 이어집니다.
• UPS 배터리를 정전 대책의 전부로 여긴다 — UPS는 발전기까지의 다리입니다. 발전기 기동 시험과 연료 관리가 빠진 UPS는 몇 분짜리 보험입니다.

정리 #

이번 글에서 잡은 그림입니다.

• 서버 전원은 PSU 1+1 이중화와 A/B 피드로 이중화되고, 그 전제는 각 피드의 평소 부하 50% 이하입니다.
• 랙의 진짜 한계는 칸 수가 아니라 전력 예산입니다. 코로케이션 계약이 kW 단위인 이유입니다.
• PDU는 측정과 제어 장비이고, 그 실측값이 전력 예산 관리의 근거입니다.
• 정전 대응은 UPS가 몇 분을 벌고 ATS가 발전기로 넘기는 시간축으로 움직입니다.
• PUE는 IT 전력 대비 시설 전체 전력의 비율이고, 분자를 키우는 주범은 냉각입니다.
• GPU 서버는 랙당 전력을 수십 kW대로 끌어올렸고, AI 인프라의 병목을 전력과 냉각으로 옮겼습니다.

다음 — 데이터센터 냉각과 랙 #

서버가 받은 전기는 일을 마치면 전부 열이 됩니다. 6kW 랙은 6kW짜리 난로이기도 합니다. 다음 글 “하드웨어 고급 #6 데이터센터 냉각과 랙"에서는 그 열을 내보내는 구조를 다루겠습니다. 차가운 복도와 뜨거운 복도, 공기 냉각의 한계, 그리고 GPU 랙이 앞당긴 액체 냉각까지, 이번 글의 PUE 분자를 줄이는 싸움을 따라가겠습니다.