你想打造什麼?
每種情境都有實測後的推薦模型,附即時價格,不替供應商說好話。
- 聊天機器人 逐步打造聊天機器人:加入模型選擇器、可將停止指令傳至模型供應商並真正中止請求的功能,依實測結果配置脈絡預算,在超出上限前將對話壓縮為可重用記憶,並透過閘道整合網頁搜尋,逐項說明從請求控制、脈絡管理到外部資訊擷取的實作流程。
- 代理程式追蹤 在代理程式的模型呼叫中加入三個請求標頭,即可取得每次執行的瀑布圖,檢視平行呼叫、自己的程式碼所花費的時間、失敗的呼叫及費用。透過同一次執行的時間軸,區分模型呼叫與自有程式碼的耗時,查看哪些呼叫同時進行、哪些呼叫失敗,並掌握該次執行的成本。
- 代理延遲 逐一重現並修正 AI 代理執行緩慢的三個原因:循序呼叫模型、自己撰寫的程式碼中有慢速工具,以及對只需一行的回答啟用推理。模型呼叫修正後,耗時從 3.7 秒降至 1.8 秒,減少 1.9 秒;另兩項則分別處理工具執行過慢與簡短回答不必要的推理。
- 代理成本 逐一重現並修正 AI 代理帳單偏高的四個原因:破壞快取的時間戳記、持續膨脹的上下文、重試迴圈,以及選錯模型。其中,時間戳記問題修正後,快取命中率從 0% 提升到 73%。其餘案例則分別檢查上下文增長、反覆重試與模型選擇,對照各項問題的重現及修正結果。
- 代理程式偵錯 依照標籤找出某位使用者的一次代理執行紀錄,再閱讀該次執行的追蹤內容,辨識三種失敗情況:收到 404 後進行重試、HTTP 狀態碼為 200 但回覆內容遭截斷,以及第二輪對話出現 400。分別確認追蹤中的重試紀錄、回覆截斷情形與錯誤發生輪次,區分這三種失敗。
- 程式開發代理費用 透過閘道執行一次 Claude Code,依三個代理分別拆解呼叫成本:各代理的首次呼叫合計占總帳單的 72%,整次執行費用為 0.17 美元。換算後,三次首次呼叫約花費 0.1224 美元,其餘呼叫占 28%,約為 0.0476 美元;閘道設定只需兩個環境變數。
- 代理程式日誌問題 在 Claude 中將 LLM 閘道設定為自訂連接器,完成登入後,授予連接器讀取請求日誌的存取權限,再直接於聊天介面提出問題。實測共提出三個問題,觸發 14 次工具呼叫,結果均已核對;設定與使用流程依序包含新增自訂連接器、登入、授權讀取日誌及聊天提問四個步驟。
- 代理程式日誌工具 使用 API 金鑰進行存取,透過 MCP 將 LLM 閘道的日誌工具提供給自己的代理程式,讓代理程式使用這些工具進行成本調查。範例中,使用小型模型完成一次成本調查的費用為 $0.0015;相較之下,執行固定 REST 查詢的費用為 $0,呈現模型調查與固定查詢的成本差異。