LLM アプリ開発 #13 実践プロジェクト: 社内文書 Q&A ボット

import numpy as np
from sentence_transformers import SentenceTransformer

embedder = SentenceTransformer("all-MiniLM-L6-v2")

def chunk_text(text: str, size: int = 300, overlap: int = 50):
    chunks, start = [], 0
    while start < len(text):
        chunks.append(text[start:start + size])
        start += size - overlap
    return chunks

# 社内文書をチャンクに分けて埋め込む
documents = [open(f).read() for f in ["policy.txt", "manual.txt"]]
chunks = [c for doc in documents for c in chunk_text(doc)]
chunk_vectors = embedder.encode(chunks)

def retrieve(query: str, top_k: int = 3):
    q = embedder.encode([query])[0]
    scores = chunk_vectors @ q
    ranked = np.argsort(scores)[::-1][:top_k]
    return [chunks[i] for i in ranked]

import anthropic

client = anthropic.Anthropic()
messages = []  # 会話メモリ

SYSTEM = "あなたは社内文書を案内するアシスタントです。提供された資料だけを根拠に答え、資料になければ「資料からは見つかりません」と答えてください。"

def ask(question: str) -> None:
    # 1) 検索: 質問に関連するチャンクを見つける
    found = retrieve(question)
    context = "\n\n".join(f"<doc>{c}</doc>" for c in found)

    # 2) 根拠プロンプト: 資料と質問を一緒に入れる
    user_content = f"<資料>\n{context}\n</資料>\n\n質問: {question}"
    messages.append({"role": "user", "content": user_content})

    # 3) ストリーミング: 答えをリアルタイムで出力しながら集める
    answer = ""
    with client.messages.stream(
        model="claude-sonnet-4-6",
        max_tokens=1024,
        system=SYSTEM,
        messages=messages,
    ) as stream:
        for text in stream.text_stream:
            print(text, end="", flush=True)
            answer += text
    print()

    # 4) メモリ: 答えを履歴に足す
    messages.append({"role": "assistant", "content": answer})

# 対話的に使う
ask("年次休暇は何日ですか?")
ask("それを半休に分けて使えますか?")  # これまでの文脈を覚えて続けて答える