AI
LLM アプリ運用 #4 バッチ処理 — 急がない仕事は半額で
今すぐ答えが要らない作業まで、リアルタイム API に送っていないでしょうか。Batches API は大量のリクエストを非同期で処理する代わりに、すべてのトークンを 50% 割引します。バッチに向く作業の選び方、提出と回収、運用パターンまで扱います。
LLM アプリ運用 #3 プロンプトキャッシング実践
毎リクエスト繰り返されるシステムプロンプトとツール定義をキャッシュすれば、その区間の入力費用は10分の1になります。接頭辞一致という大原則、安定した接頭辞の設計、cache_control の配置、沈黙のキャッシュ無効化を探す監査まで扱います。
LLM アプリ運用 #2 コスト — トークン会計とモデルルーティング
コスト削減の最大のレバーはモデル選択です。count_tokens による送信前の計測、出力のダイエット、作業の難易度別モデルルーティングの設計、effort の調整まで。品質を守りながらコストを下げる順序を扱います。
LLM アプリ運用 #1 デモと本番のあいだ — 運用の地図
動く LLM アプリと運用できる LLM アプリは別物です。コスト・レイテンシ・信頼性・品質・セキュリティという五つの軸で運用の地図を描き、すべての出発点であるリクエスト単位の計測から作ります。
RAG 上級講座 #7 実践プロジェクト：ドキュメント Q&A ボットのアップグレード
LLM アプリ開発 第13回の社内文書 Q&A ボットを、このシリーズの手法で段階的にアップグレードします。ベースラインの測定からチャンキングの差し替え、ハイブリッド検索、リランキング、引用まで適用しながら、指標がどう動くかを確かめます。
RAG 上級講座 #6 RAG 評価パイプラインを作る
第1回のベースラインを評価体系に育てます。検索は recall@k と MRR で、生成は LLM 判定者で採点し、ハルシネーション率まで一度に測る評価スクリプトを作って、すべての変更の回帰テストとして回します。
RAG 上級講座 #5 引用でハルシネーションを減らす
正解のチャンクを渡したのに答えが間違う生成の失敗を扱います。根拠の中だけで答えさせるプロンプト、「わからない」と答える権利、そして Claude の citations 機能で文ごとに出典を付ける方法まで実装します。
RAG 上級講座 #4 クエリ変換とリランキング
ユーザーの質問は検索に適した形ではありません。会話の文脈を反映するクエリリライティング、複数の角度から問うマルチクエリ、そして広く取ってきた候補を精密に絞り込むリランキングまで、検索の前段と後段を補強します。
RAG 上級講座 #3 ハイブリッド検索 — ベクトルとキーワードの組み合わせ
意味検索は製品コードや固有名詞に弱く、キーワード検索は同義語に弱いです。BM25 キーワード検索を作り、RRF でベクトル検索と組み合わせて、互いの弱点を補い合うハイブリッド検索を実装します。
RAG 上級講座 #2 検索品質を左右するチャンキング戦略
検索失敗の根は検索そのものではなく、その前の段階であるチャンキングにある場合が多いです。固定サイズ分割の限界、構造ベースのチャンキング、表とコードの扱い、メタデータ、小さく探して大きく入れる親子チャンキングまで扱います。
RAG 上級講座 #1 RAG が間違う場所をまず特定する
RAG の答えがおかしいとき、やみくもにプロンプトを直すのは運任せと同じです。失敗を検索の失敗と生成の失敗に切り分け、ゴールデンセットでベースラインを作って、改善を測定可能にするところから始めます。
AI エージェント開発実践 #7 実践プロジェクト：イシュートリアージエージェント
シリーズで扱った部品をすべて束ねて、GitHub のイシューを分類しラベルと返信を提案するトリアージエージェントを完成させます。読み取りツールと承認が必要な書き込みツール、ゴールデンセットによる評価まで取り組みます。