すべての記事
LLM アプリ運用 #6 セキュリティ — プロンプトインジェクションとデータ境界
プロンプトインジェクションは入力テキストでアプリの動作を変えようとする試みで、RAG とエージェントの時代には文書やツール結果を経由して入り込みます。単一の防御線ではなく何層もの防御、ツール権限の最小化、出力の検証、ロギングのデータ境界まで扱います。
スマートフォンはどうやって歩数を数えているのか? 加速度センサーと万歩計の仕組み
ポケットの中でスマートフォンが一日中歩数を数えているのにバッテリーが平気な理由を解き明かします。傾きと揺れを感じる加速度センサーの原理、歩くたびに生まれる規則的な揺れから歩数を選り分ける方法、バスの振動や手の揺れを歩数と間違えないフィルタリング、センサー専門の低電力チップが夜通し数えても電池が減らない秘密、そして歩数計アプリごとに数字が違う理由まで、非開発者の目線で整理します。
LLM アプリ運用 #5 信頼性 — レートリミット・リトライ・フォールバック
429 と 529 は障害ではなく日常です。レートリミットの仕組み（RPM・トークン上限）、retry-after を尊重するリトライ、タイムアウトとストリーミング、それでもだめなときのフォールバック（モデル格下げ・キューイング・丁寧な失敗）まで、止まらない構造を作ります。
LLM アプリ運用 #4 バッチ処理 — 急がない仕事は半額で
今すぐ答えが要らない作業まで、リアルタイム API に送っていないでしょうか。Batches API は大量のリクエストを非同期で処理する代わりに、すべてのトークンを 50% 割引します。バッチに向く作業の選び方、提出と回収、運用パターンまで扱います。
LLM アプリ運用 #3 プロンプトキャッシング実践
毎リクエスト繰り返されるシステムプロンプトとツール定義をキャッシュすれば、その区間の入力費用は10分の1になります。接頭辞一致という大原則、安定した接頭辞の設計、cache_control の配置、沈黙のキャッシュ無効化を探す監査まで扱います。
LLM アプリ運用 #2 コスト — トークン会計とモデルルーティング
コスト削減の最大のレバーはモデル選択です。count_tokens による送信前の計測、出力のダイエット、作業の難易度別モデルルーティングの設計、effort の調整まで。品質を守りながらコストを下げる順序を扱います。
緊急速報メールは電話番号を知らないのになぜ届くのか? セルブロードキャストの仕組み
緊急地震速報や災害のお知らせはメールのように見えて、実はメールではありません。番号あてに 1 通ずつ送る代わりに、基地局が電波の届く範囲のすべてのスマートフォンに放送するセルブロードキャストという別の通路、数百万人に数秒で届き回線が混雑しても遅れない理由、地域を狙って送る方法、警報の等級が分かれる仕組み、同じ部屋にいるのに自分のスマートフォンだけ鳴らない理由まで、非開発者の目線で整理します。
LLM アプリ運用 #1 デモと本番のあいだ — 運用の地図
動く LLM アプリと運用できる LLM アプリは別物です。コスト・レイテンシ・信頼性・品質・セキュリティという五つの軸で運用の地図を描き、すべての出発点であるリクエスト単位の計測から作ります。
RAG 上級講座 #7 実践プロジェクト：ドキュメント Q&A ボットのアップグレード
LLM アプリ開発 第13回の社内文書 Q&A ボットを、このシリーズの手法で段階的にアップグレードします。ベースラインの測定からチャンキングの差し替え、ハイブリッド検索、リランキング、引用まで適用しながら、指標がどう動くかを確かめます。
RAG 上級講座 #6 RAG 評価パイプラインを作る
第1回のベースラインを評価体系に育てます。検索は recall@k と MRR で、生成は LLM 判定者で採点し、ハルシネーション率まで一度に測る評価スクリプトを作って、すべての変更の回帰テストとして回します。
絵文字は誰が作るのか? ユニコード、そして機種ごとに見た目が違う理由
新しい絵文字はどこかの会社が勝手に追加するのではなく、世界中の文字を管理するユニコードという標準化団体の審査を経て生まれます。絵文字の正体が絵ではなく文字と同じ番号だということ、同じ絵文字が iPhone と Galaxy で違って見える理由、家族の絵文字が実は複数の絵文字の合体だということ、肌の色バリエーションの仕組み、そして相手のスマートフォンで四角い箱に見える理由まで、非開発者の目線で整理します。
RAG 上級講座 #5 引用でハルシネーションを減らす
正解のチャンクを渡したのに答えが間違う生成の失敗を扱います。根拠の中だけで答えさせるプロンプト、「わからない」と答える権利、そして Claude の citations 機能で文ごとに出典を付ける方法まで実装します。