#AI
47 편의 글
LLM 환각(할루시네이션): 원인과 실전 대응책
LLM이 그럴듯한 거짓을 자신 있게 생성하는 환각 현상을 정리합니다. 다음 토큰 확률 예측이라는 동작 원리에서 환각이 필연적으로 나오는 이유, 사실 오류·출처 날조·코드 API 환각 같은 유형, RAG와 인용 강제, 도구 사용, 구조화 출력 검증, 평가 파이프라인까지 실무에서 환각을 줄이는 수단들, 그리고 완전히 없앨 수 없다는 전제 위에서 사람 검토 지점을 설계하는 운영 관점까지 다룹니다.
임베딩과 벡터 검색: 의미로 찾는 검색의 동작 원리
RAG와 시맨틱 검색의 기반인 임베딩과 벡터 검색을 한 편으로 정리합니다. 텍스트를 숫자 벡터로 바꾸는 임베딩의 개념, 코사인 유사도로 의미의 가까움을 재는 원리, 전수 조사 kNN과 근사 검색 ANN의 트레이드오프, pgvector·전용 벡터 DB·검색 엔진 확장 중에서 저장소를 고르는 기준, 키워드 매칭에 약한 임베딩의 한계와 하이브리드 검색, 모델 교체 시 전체 재색인 같은 운영 비용까지 다룹니다.
토큰과 컨텍스트 윈도우: LLM 비용과 한계를 결정하는 단위
LLM 요금표와 스펙표에 빠지지 않는 토큰과 컨텍스트 윈도우를 한 편으로 정리합니다. 토큰이 어떻게 쪼개지는지, 한국어가 영어보다 토큰을 더 쓰는 이유, 입력·출력 단가가 다른 요금 구조와 대화가 길어질수록 비용이 불어나는 원리, 컨텍스트 윈도우가 실제로 제한하는 것, 긴 컨텍스트의 성능 함정, 프롬프트 캐싱과 히스토리 관리 같은 실무 대응까지 다룹니다.
MCP(Model Context Protocol) 정리: AI가 도구를 쓰는 표준
AI 에이전트 글마다 등장하는 MCP를 한 편으로 정리합니다. 도구 연동의 N×M 문제를 표준 인터페이스로 푸는 구조, 함수 호출과의 관계, 호스트·클라이언트·서버와 tools·resources·prompts 프리미티브, 2026년 현재의 채택 현황과 재단 이관, 서드파티 서버 신뢰와 프롬프트 인젝션 같은 보안 주의점, 도입이 필요한 경우와 아닌 경우까지 다룹니다.
RAG vs 파인튜닝 vs 롱 컨텍스트: LLM에 지식을 넣는 방법 선택
LLM에 우리 데이터를 넣는 세 가지 방법을 가르는 실무 기준을 정리합니다. 검색해서 주입하는 RAG, 가중치를 바꾸는 파인튜닝, 통째로 넣고 캐싱하는 롱 컨텍스트의 구조 차이, 파인튜닝은 지식이 아니라 행동을 가르치는 도구라는 경계, 갱신 빈도와 지식 크기로 가르는 판단 순서, 셋을 조합하는 실전 구성까지 다룹니다.
GPU 클라우드 선택: 하이퍼스케일러 vs 전용 GPU 클라우드 vs 서버리스 추론
AI 워크로드용 GPU를 어디서 빌릴지 가르는 실무 기준을 정리합니다. 하이퍼스케일러(AWS)와 전용 GPU 클라우드(Lambda·RunPod)의 H100 시간당 요금이 2〜5배 벌어지는 이유, 스팟이 절반 이하로 내려가는 대신 감수하는 것, 서버리스 추론이 토큰당 과금으로 GPU 관리를 없애는 지점, 그리고 통합·네트워크·규제 요건이 요금 차이를 뒤집는 조건까지 다룹니다.
LLM 양자화 비교: FP16, INT8, INT4와 GGUF·AWQ·GPTQ
LLM 양자화 방식을 고르는 실무 기준을 정리합니다. 정밀도(FP16·INT8·INT4)가 VRAM을 반씩 줄이는 원리, 70B 모델이 140GB에서 35GB로 내려가는 계산, GGUF·AWQ·GPTQ 세 형식이 갈리는 용도(로컬·GPU 서빙·정확도), INT4가 추론·코드 작업에서 품질을 떨어뜨리는 지점, 서빙 프레임워크와 형식을 맞추는 법까지 다룹니다.
vLLM vs Ollama vs SGLang: LLM 서빙 프레임워크 선택
LLM을 자체 호스팅할 때 서빙 프레임워크를 고르는 기준을 정리합니다. 로컬 실행용(Ollama)과 프로덕션 처리량용(vLLM·SGLang)이 갈리는 지점, PagedAttention과 연속 배칭이 처리량을 3〜4배 벌리는 이유, TGI가 유지보수 모드로 빠진 2026년 지형 변화, 양자화·구조적 출력 지원 차이, 그리고 팀 규모별 선택 순서까지 다룹니다.
LLM API vs 자체 호스팅: 손익분기 계산
LLM을 API로 쓸지 직접 호스팅할지 가르는 실무 기준을 정리합니다. 토큰당 과금과 GPU 시간당 과금의 구조 차이, GPU 한 장이 하루에 뽑는 토큰 수로 손익분기를 계산하는 법, 상시 가동률과 배치·양자화가 분기점을 옮기는 지점, 요금 밖에서 결정을 가르는 데이터 프라이버시·지연·운영 부담까지 다룹니다.
LLM 자체 호스팅에 필요한 서버 규모 추정: VRAM 계산부터 동시 사용자까지
사내 LLM을 자체 호스팅할 때 필요한 GPU 규모를 추정하는 순서를 정리합니다. 파라미터 수와 정밀도로 하는 VRAM 계산, KV 캐시와 동시 요청의 관계, 메모리 대역폭과 토큰 생성 속도, 시나리오별 구성 예시, 자체 호스팅과 API의 손익분기까지 다룹니다.
AI 학습 서버와 추론 서버의 차이: 사양이 갈리는 기준
같은 GPU 서버인데 학습용과 추론용의 사양이 갈리는 이유를 정리합니다. 배치 처리와 요청 처리라는 워크로드 형태 차이, GPU 간 통신과 메모리 대역폭이라는 병목 차이, 정밀도와 양자화, 비용 구조와 겸용의 함정까지 장비 선택 관점으로 다룹니다.
NVIDIA GPU 이름 읽는 법: 아키텍처 세대와 라인업 정리
H100, B200, GB300, L40S, RTX 5090 같은 NVIDIA GPU 이름을 체계로 읽는 법을 정리합니다. 과학자 이름의 아키텍처 세대 축과 데이터센터·추론·소비자 제품 라인 축, 숫자와 접두사의 의미, 2026년 중반 기준 세대 현황과 로드맵까지 다룹니다.