#인프라
381 편의 글
GPU 클라우드 선택: 하이퍼스케일러 vs 전용 GPU 클라우드 vs 서버리스 추론
AI 워크로드용 GPU를 어디서 빌릴지 가르는 실무 기준을 정리합니다. 하이퍼스케일러(AWS)와 전용 GPU 클라우드(Lambda·RunPod)의 H100 시간당 요금이 2〜5배 벌어지는 이유, 스팟이 절반 이하로 내려가는 대신 감수하는 것, 서버리스 추론이 토큰당 과금으로 GPU 관리를 없애는 지점, 그리고 통합·네트워크·규제 요건이 요금 차이를 뒤집는 조건까지 다룹니다.
인시던트 핸들링의 핵심: 장애 대응에서 가장 중요한 것
장애 대응이 유능한 개인이 아니라 절차로 굴러가게 만드는 방법을 정리합니다. 복구가 원인 규명보다 먼저라는 원칙, 지휘·소통·조사의 역할 분리, 심각도 등급과 선포 기준, 비난 없는 포스트모템 작성법, 온콜을 지속 가능하게 만드는 조건까지 다룹니다.
Error Budget: 장애를 허용하는 예산의 개념과 계산
SLO에서 파생되는 Error Budget의 개념과 계산법을 정리합니다. 예산의 크기를 시간과 요청 수로 환산하는 법, 소진 속도(번 레이트) 기반 알림이 임계값 알림보다 나은 이유, 예산 소진 시의 정책, 배포 속도와 안정성의 갈등을 규칙으로 바꾸는 운영법까지 다룹니다.
LLM 양자화 비교: FP16, INT8, INT4와 GGUF·AWQ·GPTQ
LLM 양자화 방식을 고르는 실무 기준을 정리합니다. 정밀도(FP16·INT8·INT4)가 VRAM을 반씩 줄이는 원리, 70B 모델이 140GB에서 35GB로 내려가는 계산, GGUF·AWQ·GPTQ 세 형식이 갈리는 용도(로컬·GPU 서빙·정확도), INT4가 추론·코드 작업에서 품질을 떨어뜨리는 지점, 서빙 프레임워크와 형식을 맞추는 법까지 다룹니다.
SLI, SLO, SLA 구분: 지표에서 목표, 계약까지
헷갈리기 쉬운 SLI, SLO, SLA 세 용어를 실무 순서로 정리합니다. 좋은 SLI를 고르는 기준(성공 요청 비율 방식), SLO 수치를 정하는 현실적인 방법, SLA가 SLO보다 느슨해야 하는 이유, 나인(9)의 감각과 흔한 실수까지 예시로 다룹니다.
vLLM vs Ollama vs SGLang: LLM 서빙 프레임워크 선택
LLM을 자체 호스팅할 때 서빙 프레임워크를 고르는 기준을 정리합니다. 로컬 실행용(Ollama)과 프로덕션 처리량용(vLLM·SGLang)이 갈리는 지점, PagedAttention과 연속 배칭이 처리량을 3〜4배 벌리는 이유, TGI가 유지보수 모드로 빠진 2026년 지형 변화, 양자화·구조적 출력 지원 차이, 그리고 팀 규모별 선택 순서까지 다룹니다.
LLM API vs 자체 호스팅: 손익분기 계산
LLM을 API로 쓸지 직접 호스팅할지 가르는 실무 기준을 정리합니다. 토큰당 과금과 GPU 시간당 과금의 구조 차이, GPU 한 장이 하루에 뽑는 토큰 수로 손익분기를 계산하는 법, 상시 가동률과 배치·양자화가 분기점을 옮기는 지점, 요금 밖에서 결정을 가르는 데이터 프라이버시·지연·운영 부담까지 다룹니다.
SRE와 DevOps의 차이: 겹치는 곳과 갈리는 곳
SRE와 DevOps가 각각 무엇이고 어디서 겹치고 어디서 갈리는지 정리합니다. 문화·철학으로서의 DevOps와 그 구현으로서의 SRE, 신뢰성을 숫자로 계약하는 SRE의 고유 도구(SLO·Error Budget), 조직에서 두 역할이 실제로 나뉘는 모양, 채용 공고 읽는 법까지 다룹니다.
Lambda vs Fargate: 서버리스 컴퓨팅 선택 기준
Lambda와 Fargate를 가르는 실무 기준을 정리합니다. 호출 단위 과금과 태스크 단위 과금의 구조 차이, 상시 실행이면 Lambda가 2배 이상 비싸지는 단가 계산과 사용률 기준선, 15분·10GB·콜드 스타트라는 Lambda의 하드 리밋, API Gateway와 로그 수집이 본체 요금을 넘는 숨은 비용, 워크로드 성격으로 가르는 판단 순서까지 다룹니다.
쿠버네티스 컨트롤 플레인이 느려지는 원인: API 서버, etcd, 스케줄러
워크로드는 멀쩡한데 kubectl이 느리고 배포가 늦는, 컨트롤 플레인이 느려지는 상황을 진단합니다. API 서버를 두드리는 과도한 LIST·WATCH, etcd의 fsync 지연과 DB 비대화, 스케줄러 지연의 구분법과 각각의 지표, 처방을 다룹니다.
ECS vs EKS: 컨테이너 오케스트레이터 선택 기준
ECS와 EKS를 가르는 실무 기준을 정리합니다. 무료 컨트롤 플레인과 클러스터당 월 $73의 차이보다 큰 운영 비용의 정체, EKS 버전 업그레이드 사이클과 방치 시 6배가 되는 연장 지원 요금, Auto Mode가 줄여 주는 것과 남는 것, k8s 생태계가 실제로 필요한 조건, 팀 규모·이식성·채용 관점의 판단 기준까지 다룹니다.
requests와 limits 값을 정하는 기준: 운영에서 통하는 규칙
쿠버네티스 requests·limits의 개념이 아니라 "얼마로 설정하는가"를 다룹니다. 실측 기반 requests 산정, CPU limit의 스로틀링 논쟁, memory limit을 거는 이유, QoS 클래스와 축출 순서, VPA 권고 모드 활용, 과대 예약과 무제한 메모리라는 양쪽 사고 유형까지 정리합니다.