何を作りますか？
シナリオごとに実測で選んだモデルを、リアルタイム価格つきで紹介します。ベンダーへの忖度はありません。
- チャットボット チャットボット構築を手順別に解説。モデル選択機能、プロバイダーまで停止要求を届けるStop、実測に基づくコンテキスト予算、履歴をメモリへ圧縮する処理、ゲートウェイ経由のWeb検索を順に実装し、各機能の連携まで確認します。
- エージェントのトレーシング エージェントのモデル呼び出しに3つのリクエストヘッダーを追加して、実行ごとの処理の流れをウォーターフォールで表示します。並列で行われたモデル呼び出し、自前コード内で費やした時間、失敗した呼び出し、コストを確認し、各実行の内訳を把握できます。
- エージェントのレイテンシ エージェントが遅くなる3つの原因を、それぞれ再現して修正します。モデル呼び出しの直列実行では、処理時間が3.7秒から1.8秒に短縮。自前のコード内で動く遅いツールと、1行で済む回答に推論を使うケースも取り上げ、原因ごとに修正の内容を確認します。
- エージェントのコスト エージェントの料金が高くなる4つの原因を、それぞれ再現して修正します。キャッシュを無効にするタイムスタンプを修正すると、キャッシュヒット率は0%から73%に改善。増え続けるコンテキスト、繰り返されるリトライループ、誤ったモデル選択についても、料金増加の原因として検証します。
- エージェントのデバッグ ラベルを手がかりに、特定ユーザーのエージェント実行を見つけ、その実行トレースに記録された3つの障害を確認します。404エラーとそのリトライ、ステータス200にもかかわらず途中で切れる応答、2ターン目に発生する400エラーをそれぞれ読み解きます。
- コーディングエージェントの費用 ゲートウェイ経由で実行した Claude Code の1回分の費用を、エージェント別に分けて確認。総請求額は $0.17 で、その72%を3つのエージェントそれぞれの初回呼び出しが占めました。初回呼び出しへの費用の集中を示す内訳と、環境変数2つで行う設定を紹介します。
- エージェントログに関する質問 LLM ゲートウェイを Claude のカスタムコネクタとして追加し、サインイン後にリクエストログへの読み取りアクセスを許可します。そのうえで Claude のチャットから質問し、3 つの質問に対して行われた合計 14 回のツール呼び出しを検証しました。
- エージェントログ用ツール APIキーを使い、MCP経由でLLMゲートウェイのログツールを自作エージェントに渡す方法を解説。コスト調査を1回行った例では、小型モデルの利用料は$0.0015。固定のRESTクエリなら費用は$0で、モデルによる調査と定型クエリのコストの違いを示す。
- プロンプトのバージョン管理 LLMのプロンプトをライブラリに保存し、prompt_idで呼び出す方式を解説。ラベルを付け替えてリリースすると、実測では8〜9秒で実際の呼び出しに反映。プロンプトのトークン数は114.5で、本文をインラインで直接指定した場合と同じ値となり、増加はありません。
- プロンプトのロールアウト 本番トラフィックの10%を新しいプロンプトバージョンに振り分け、セッション単位で割り当てを固定する検証。実測では200セッション中8.0%に当たる16セッションが新版に割り当てられました。全セッションで同一バージョンが維持され、呼び出し1回あたりのコストは従来比1.94倍でした。
- プロンプトのテスト プロンプトを短縮した際に、ルールが1つ抜け落ちた。新規メッセージ110件を使った比較では、短縮した新版で注文番号の記載漏れが18件（16%）発生し、旧版では0件だった。一方、40行のテストを1回実行した結果は記載漏れ0件で、110件での検証とは異なる結果になった。
