LLM 앱 개발 실전 #13 실전 프로젝트: 사내 문서 Q&A 봇

import numpy as np
from sentence_transformers import SentenceTransformer

embedder = SentenceTransformer("all-MiniLM-L6-v2")

def chunk_text(text: str, size: int = 300, overlap: int = 50):
    chunks, start = [], 0
    while start < len(text):
        chunks.append(text[start:start + size])
        start += size - overlap
    return chunks

# 사내 문서들을 조각으로 쪼개 임베딩한다
documents = [open(f).read() for f in ["policy.txt", "manual.txt"]]
chunks = [c for doc in documents for c in chunk_text(doc)]
chunk_vectors = embedder.encode(chunks)

def retrieve(query: str, top_k: int = 3):
    q = embedder.encode([query])[0]
    scores = chunk_vectors @ q
    ranked = np.argsort(scores)[::-1][:top_k]
    return [chunks[i] for i in ranked]

import anthropic

client = anthropic.Anthropic()
messages = []  # 대화 메모리

SYSTEM = "너는 사내 문서를 안내하는 도우미야. 제공된 자료만 근거로 답하고, 자료에 없으면 '자료에서 찾을 수 없습니다'라고 답해."

def ask(question: str) -> None:
    # 1) 검색: 질문과 관련된 조각을 찾는다
    found = retrieve(question)
    context = "\n\n".join(f"<doc>{c}</doc>" for c in found)

    # 2) 근거 프롬프트: 자료와 질문을 함께 담는다
    user_content = f"<자료>\n{context}\n</자료>\n\n질문: {question}"
    messages.append({"role": "user", "content": user_content})

    # 3) 스트리밍: 답을 실시간으로 출력하며 모은다
    answer = ""
    with client.messages.stream(
        model="claude-sonnet-4-6",
        max_tokens=1024,
        system=SYSTEM,
        messages=messages,
    ) as stream:
        for text in stream.text_stream:
            print(text, end="", flush=True)
            answer += text
    print()

    # 4) 메모리: 답을 히스토리에 더한다
    messages.append({"role": "assistant", "content": answer})

# 대화형으로 사용
ask("연차는 며칠인가요?")
ask("그걸 반차로 나눠 쓸 수 있나요?")  # 이전 맥락을 기억해 이어서 답한다