#하드웨어
33 편의 글
LLM 자체 호스팅에 필요한 서버 규모 추정: VRAM 계산부터 동시 사용자까지
사내 LLM을 자체 호스팅할 때 필요한 GPU 규모를 추정하는 순서를 정리합니다. 파라미터 수와 정밀도로 하는 VRAM 계산, KV 캐시와 동시 요청의 관계, 메모리 대역폭과 토큰 생성 속도, 시나리오별 구성 예시, 자체 호스팅과 API의 손익분기까지 다룹니다.
AI 학습 서버와 추론 서버의 차이: 사양이 갈리는 기준
같은 GPU 서버인데 학습용과 추론용의 사양이 갈리는 이유를 정리합니다. 배치 처리와 요청 처리라는 워크로드 형태 차이, GPU 간 통신과 메모리 대역폭이라는 병목 차이, 정밀도와 양자화, 비용 구조와 겸용의 함정까지 장비 선택 관점으로 다룹니다.
NVIDIA GPU 이름 읽는 법: 아키텍처 세대와 라인업 정리
H100, B200, GB300, L40S, RTX 5090 같은 NVIDIA GPU 이름을 체계로 읽는 법을 정리합니다. 과학자 이름의 아키텍처 세대 축과 데이터센터·추론·소비자 제품 라인 축, 숫자와 접두사의 의미, 2026년 중반 기준 세대 현황과 로드맵까지 다룹니다.
GPU 서버와 일반 서버의 차이: 구조, 전력, 냉각, 가격
GPU 서버가 일반 서버와 어디서부터 다른 물건인지 정리합니다. GPU 중심으로 뒤집힌 서버 구조와 인터커넥트, 자릿수가 다른 전력 밀도와 액체 냉각의 등장, 가격 구조, 드라이버 스택과 활용률 관리까지, 도입 전에 알아야 할 차이를 다룹니다.
서버가 느린 이유 #4 대역폭은 충분한데 느릴 때: 지연시간, RTT, 재전송
회선 대역폭은 남는데 네트워크가 느린 상황의 원인을 추적합니다. RTT와 왕복 횟수가 체감 속도를 정하는 구조, TCP 핸드셰이크와 TLS의 왕복 비용, BDP와 윈도우 한계, 패킷 손실과 재전송 확인법, 커넥션 재사용까지 다룹니다.
서버가 느린 이유 #3 SSD인데도 느릴 때: 쓰기 증폭, fsync, 큐 깊이
SSD를 썼는데도 디스크가 병목인 상황의 원인을 추적합니다. 스펙시트 IOPS의 전제 조건, fsync가 만드는 내구성 쓰기의 비용, SLC 캐시 소진과 쓰기 증폭, 큐 깊이 1의 물리적 한계, 클라우드 볼륨의 IOPS 상한까지 다룹니다.
서버가 느린 이유 #2 메모리를 늘려도 빨라지지 않을 때: 페이지 캐시, 스왑, 워킹셋
메모리를 증설했는데 성능이 그대로인 상황의 원인을 추적합니다. 페이지 캐시와 available의 의미, 남는 메모리가 이미 캐시로 일하고 있는 구조, 스왑과 swappiness, 워킹셋 크기 판단, 컨테이너 메모리 한도와 애플리케이션 힙 설정까지 다룹니다.
서버가 느린 이유 #1 CPU 사용률은 낮은데 느릴 때: run queue, I/O wait, 락 경합
CPU 사용률이 낮은데도 서버가 느린 상황의 원인을 추적합니다. run queue와 스케줄링 지연, I/O wait의 함정, 락 경합과 off-CPU 대기, 클라우드의 스틸 타임까지, 사용률 그래프가 놓치는 대기 시간을 찾는 진단 순서를 다룹니다.
하드웨어 고급 #7 펌웨어, BMC, 수명주기 — 서버 안의 또 다른 컴퓨터
메인 CPU와 독립적으로 항상 켜져 있는 관리용 컴퓨터 BMC를 다룹니다. 원격 콘솔과 전원 제어, IPMI와 Redfish, 펌웨어 스택과 업데이트 운영, SMART와 ECC 카운터 기반 고장 예측, 관리망 보안, 그리고 보증 만료부터 디스크 폐기까지의 수명주기를 정리하고 하드웨어 고급 시리즈를 마무리합니다.
하드웨어 고급 #6 데이터센터 냉각과 랙 — 전기는 결국 열이 된다
서버에 들어간 전력은 거의 전부 열이 되어 나옵니다. 전면 흡기·후면 배기라는 기류의 기본에서 출발해 핫아일·콜드아일 컨테인먼트, 랙 밀도와 공랭의 한계, D2C·액침 같은 액체 냉각, ASHRAE 온도 기준과 PUE의 관계까지 데이터센터 냉각의 전체 그림을 정리합니다.
하드웨어 고급 #5 데이터센터 전력 — 서버를 더 못 꽂는 진짜 이유
랙에 빈 칸이 남아 있어도 서버를 못 꽂는 이유는 전력 예산입니다. PSU 이중화와 A/B 전원 피드, 랙 단위 kW 계약, PDU와 UPS, 발전기와 ATS, PUE, 그리고 GPU 서버가 끌어올린 전력 밀도까지, 서버가 살아가는 전력 환경을 운영자 관점으로 정리하겠습니다.
하드웨어 고급 #4 ZFS 심화 — RAID와 파일시스템이 하나가 될 때
ZFS는 RAID·볼륨 관리·파일시스템을 한 층으로 합쳐 전통 스택의 구조적 문제를 풀었습니다. 쓰기 구멍을 없애는 CoW, 읽을 때마다 검증하는 체크섬과 자가 치유, 데이터만 복사해 빠른 resilver, RAIDZ와 ARC, 스냅샷과 send/recv, lz4 압축까지 운영 관점으로 정리합니다.