你想打造什麼？
每種情境都有實測後的推薦模型，附即時價格，不替供應商說好話。
- 聊天機器人 逐步打造聊天機器人：加入模型選擇器、可將停止指令傳至模型供應商並真正中止請求的功能，依實測結果配置脈絡預算，在超出上限前將對話壓縮為可重用記憶，並透過閘道整合網頁搜尋，逐項說明從請求控制、脈絡管理到外部資訊擷取的實作流程。
- 代理程式追蹤 在代理程式的模型呼叫中加入三個請求標頭，即可取得每次執行的瀑布圖，檢視平行呼叫、自己的程式碼所花費的時間、失敗的呼叫及費用。透過同一次執行的時間軸，區分模型呼叫與自有程式碼的耗時，查看哪些呼叫同時進行、哪些呼叫失敗，並掌握該次執行的成本。
- 代理延遲 逐一重現並修正 AI 代理執行緩慢的三個原因：循序呼叫模型、自己撰寫的程式碼中有慢速工具，以及對只需一行的回答啟用推理。模型呼叫修正後，耗時從 3.7 秒降至 1.8 秒，減少 1.9 秒；另兩項則分別處理工具執行過慢與簡短回答不必要的推理。
- 代理成本 逐一重現並修正 AI 代理帳單偏高的四個原因：破壞快取的時間戳記、持續膨脹的上下文、重試迴圈，以及選錯模型。其中，時間戳記問題修正後，快取命中率從 0% 提升到 73%。其餘案例則分別檢查上下文增長、反覆重試與模型選擇，對照各項問題的重現及修正結果。
- 代理程式偵錯 依照標籤找出某位使用者的一次代理執行紀錄，再閱讀該次執行的追蹤內容，辨識三種失敗情況：收到 404 後進行重試、HTTP 狀態碼為 200 但回覆內容遭截斷，以及第二輪對話出現 400。分別確認追蹤中的重試紀錄、回覆截斷情形與錯誤發生輪次，區分這三種失敗。
- 程式開發代理費用 透過閘道執行一次 Claude Code，依三個代理分別拆解呼叫成本：各代理的首次呼叫合計占總帳單的 72%，整次執行費用為 0.17 美元。換算後，三次首次呼叫約花費 0.1224 美元，其餘呼叫占 28%，約為 0.0476 美元；閘道設定只需兩個環境變數。
- 代理程式日誌問題 在 Claude 中將 LLM 閘道設定為自訂連接器，完成登入後，授予連接器讀取請求日誌的存取權限，再直接於聊天介面提出問題。實測共提出三個問題，觸發 14 次工具呼叫，結果均已核對；設定與使用流程依序包含新增自訂連接器、登入、授權讀取日誌及聊天提問四個步驟。
- 代理程式日誌工具 使用 API 金鑰進行存取，透過 MCP 將 LLM 閘道的日誌工具提供給自己的代理程式，讓代理程式使用這些工具進行成本調查。範例中，使用小型模型完成一次成本調查的費用為 $0.0015；相較之下，執行固定 REST 查詢的費用為 $0，呈現模型調查與固定查詢的成本差異。
- 提示詞版本管理 將 LLM 提示詞集中存放於提示詞程式庫，透過 prompt_id 呼叫；部署時只需移動標籤，讓線上呼叫使用對應提示詞。實測從標籤變更到線上呼叫套用約需 8 到 9 秒；與直接在請求中傳入提示詞相比，提示詞 token 數維持相同，兩者皆為 114.5，未因改用程式庫而增加。
- 提示詞推出 以工作階段為分流單位，設定將 10% 的正式環境流量分配給新版提示詞，而非逐次呼叫隨機切換。實測 200 個工作階段，其中 16 個使用新版，占比為 8.0%，比設定值低 2 個百分點；所有工作階段全程維持同一提示詞版本，新版每次呼叫成本則為原版的 1.94 倍。
- 提示詞測試 精簡提示詞時刪去了一條規則，導致新版在 110 則新訊息中有 18 次漏寫訂單編號，漏寫率為 16%；舊版在同批訊息中則一次也沒漏。然而，先前單輪 40 筆測試卻未出現任何遺漏，顯示單次小樣本測試的零遺漏結果，未能反映新版在更多新訊息中的規則遵循問題。
