#GPU
4 件の記事
読了 6分
LLM セルフホスティングに必要なサーバー規模の見積もり — VRAM 計算から同時ユーザーまで
社内 LLM をセルフホスティングするときに必要な GPU 規模を見積もる手順を整理します。パラメータ数と精度で行う VRAM 計算、KV キャッシュと同時リクエストの関係、メモリ帯域とトークン生成速度、シナリオ別の構成例、セルフホスティングと API の損益分岐まで扱います。
読了 6分
AI の学習サーバーと推論サーバーの違い — スペックが分かれるポイント
同じ GPU サーバーなのに学習用と推論用でスペックが分かれる理由を整理します。バッチ処理とリクエスト処理というワークロード形態の違い、GPU 間通信とメモリ帯域というボトルネックの違い、精度と量子化、コスト構造と兼用の罠まで、機材選択の観点で扱います。
読了 5分
NVIDIA GPU の名前の読み方 — アーキテクチャ世代と製品ラインの整理
H100、B200、GB300、L40S、RTX 5090 のような NVIDIA GPU の名前を体系として読む方法を整理します。科学者名のアーキテクチャ世代の軸と、データセンター・推論・コンシューマーの製品ラインの軸、数字と接頭辞の意味、2026 年半ば時点の世代の現況とロードマップまで扱います。
読了 6分
GPU サーバーと一般サーバーの違い — 構造・電力・冷却・価格
GPU サーバーが一般サーバーとどこから違う機材なのかを整理します。GPU 中心にひっくり返ったサーバー構造とインターコネクト、桁が違う電力密度と液体冷却の登場、価格構造、ドライバスタックと稼働率管理まで、導入前に知っておくべき違いを扱います。