AI
LLM 환각(할루시네이션): 원인과 실전 대응책
LLM이 그럴듯한 거짓을 자신 있게 생성하는 환각 현상을 정리합니다. 다음 토큰 확률 예측이라는 동작 원리에서 환각이 필연적으로 나오는 이유, 사실 오류·출처 날조·코드 API 환각 같은 유형, RAG와 인용 강제, 도구 사용, 구조화 출력 검증, 평가 파이프라인까지 실무에서 환각을 줄이는 수단들, 그리고 완전히 없앨 수 없다는 전제 위에서 사람 검토 지점을 설계하는 운영 관점까지 다룹니다.
임베딩과 벡터 검색: 의미로 찾는 검색의 동작 원리
RAG와 시맨틱 검색의 기반인 임베딩과 벡터 검색을 한 편으로 정리합니다. 텍스트를 숫자 벡터로 바꾸는 임베딩의 개념, 코사인 유사도로 의미의 가까움을 재는 원리, 전수 조사 kNN과 근사 검색 ANN의 트레이드오프, pgvector·전용 벡터 DB·검색 엔진 확장 중에서 저장소를 고르는 기준, 키워드 매칭에 약한 임베딩의 한계와 하이브리드 검색, 모델 교체 시 전체 재색인 같은 운영 비용까지 다룹니다.
토큰과 컨텍스트 윈도우: LLM 비용과 한계를 결정하는 단위
LLM 요금표와 스펙표에 빠지지 않는 토큰과 컨텍스트 윈도우를 한 편으로 정리합니다. 토큰이 어떻게 쪼개지는지, 한국어가 영어보다 토큰을 더 쓰는 이유, 입력·출력 단가가 다른 요금 구조와 대화가 길어질수록 비용이 불어나는 원리, 컨텍스트 윈도우가 실제로 제한하는 것, 긴 컨텍스트의 성능 함정, 프롬프트 캐싱과 히스토리 관리 같은 실무 대응까지 다룹니다.
MCP(Model Context Protocol) 정리: AI가 도구를 쓰는 표준
AI 에이전트 글마다 등장하는 MCP를 한 편으로 정리합니다. 도구 연동의 N×M 문제를 표준 인터페이스로 푸는 구조, 함수 호출과의 관계, 호스트·클라이언트·서버와 tools·resources·prompts 프리미티브, 2026년 현재의 채택 현황과 재단 이관, 서드파티 서버 신뢰와 프롬프트 인젝션 같은 보안 주의점, 도입이 필요한 경우와 아닌 경우까지 다룹니다.
RAG vs 파인튜닝 vs 롱 컨텍스트: LLM에 지식을 넣는 방법 선택
LLM에 우리 데이터를 넣는 세 가지 방법을 가르는 실무 기준을 정리합니다. 검색해서 주입하는 RAG, 가중치를 바꾸는 파인튜닝, 통째로 넣고 캐싱하는 롱 컨텍스트의 구조 차이, 파인튜닝은 지식이 아니라 행동을 가르치는 도구라는 경계, 갱신 빈도와 지식 크기로 가르는 판단 순서, 셋을 조합하는 실전 구성까지 다룹니다.
GPU 클라우드 선택: 하이퍼스케일러 vs 전용 GPU 클라우드 vs 서버리스 추론
AI 워크로드용 GPU를 어디서 빌릴지 가르는 실무 기준을 정리합니다. 하이퍼스케일러(AWS)와 전용 GPU 클라우드(Lambda·RunPod)의 H100 시간당 요금이 2〜5배 벌어지는 이유, 스팟이 절반 이하로 내려가는 대신 감수하는 것, 서버리스 추론이 토큰당 과금으로 GPU 관리를 없애는 지점, 그리고 통합·네트워크·규제 요건이 요금 차이를 뒤집는 조건까지 다룹니다.
LLM 양자화 비교: FP16, INT8, INT4와 GGUF·AWQ·GPTQ
LLM 양자화 방식을 고르는 실무 기준을 정리합니다. 정밀도(FP16·INT8·INT4)가 VRAM을 반씩 줄이는 원리, 70B 모델이 140GB에서 35GB로 내려가는 계산, GGUF·AWQ·GPTQ 세 형식이 갈리는 용도(로컬·GPU 서빙·정확도), INT4가 추론·코드 작업에서 품질을 떨어뜨리는 지점, 서빙 프레임워크와 형식을 맞추는 법까지 다룹니다.
vLLM vs Ollama vs SGLang: LLM 서빙 프레임워크 선택
LLM을 자체 호스팅할 때 서빙 프레임워크를 고르는 기준을 정리합니다. 로컬 실행용(Ollama)과 프로덕션 처리량용(vLLM·SGLang)이 갈리는 지점, PagedAttention과 연속 배칭이 처리량을 3〜4배 벌리는 이유, TGI가 유지보수 모드로 빠진 2026년 지형 변화, 양자화·구조적 출력 지원 차이, 그리고 팀 규모별 선택 순서까지 다룹니다.
LLM API vs 자체 호스팅: 손익분기 계산
LLM을 API로 쓸지 직접 호스팅할지 가르는 실무 기준을 정리합니다. 토큰당 과금과 GPU 시간당 과금의 구조 차이, GPU 한 장이 하루에 뽑는 토큰 수로 손익분기를 계산하는 법, 상시 가동률과 배치·양자화가 분기점을 옮기는 지점, 요금 밖에서 결정을 가르는 데이터 프라이버시·지연·운영 부담까지 다룹니다.
LLM 앱 운영 #7 실전: 문서 Q&A 봇을 프로덕션으로
시리즈의 다섯 축을 운영 체크리스트로 묶어 문서 Q&A 봇에 적용합니다. 계측, 라우팅, 캐싱, 배칭, 신뢰성, 보안을 하나씩 켜며 요청당 비용과 안정성이 어떻게 달라지는지 확인하고, 네 시리즈에 걸친 AI 트랙을 마무리합니다.
LLM 앱 운영 #6 보안 — 프롬프트 인젝션과 데이터 경계
프롬프트 인젝션은 입력 텍스트로 앱의 동작을 바꾸려는 시도이고, RAG와 에이전트 시대에는 문서와 도구 결과를 타고 들어옵니다. 단일 방어선이 아닌 겹겹의 방어, 도구 권한 최소화, 출력 검증, 로깅의 데이터 경계까지 다룹니다.
LLM 앱 운영 #5 신뢰성 — 레이트리밋, 재시도, 폴백
429와 529는 장애가 아니라 일상입니다. 레이트리밋의 구조(RPM·토큰 한도), retry-after를 존중하는 재시도, 타임아웃과 스트리밍, 그리고 그래도 안 될 때의 폴백(모델 강등·큐잉·정중한 실패)까지 멈추지 않는 구조를 만듭니다.