你在做什么应用？
按场景给出实测选型，附实时价格，不吹不黑。
- 聊天机器人 分步构建聊天机器人：实现模型选择器，让“停止”操作真正传递至模型提供商并中止上游请求；实测上下文预算及其边界，将超长对话压缩为可复用记忆，并通过网关接入网页搜索，完整覆盖请求控制、上下文管理与外部信息检索流程。
- 智能体追踪 为智能体发出的模型调用添加三个请求头，即可查看每次运行的瀑布图，了解并行调用、自有代码执行耗时、失败调用和费用。瀑布图将模型请求与自身代码的耗时放在同一次运行中呈现，帮助区分哪些调用并行发生、时间花在何处、哪些请求失败，并查看该次运行的调用成本。
- 智能体延迟 逐一复现并修复智能体变慢的三个原因：模型调用串行执行、自身代码中的工具运行缓慢，以及只需一行答案却仍进行推理。串行模型调用修复后，耗时从3.7秒降至1.8秒，减少1.9秒，约缩短51%。分别检查模型调用方式、工具代码和回答所需的推理，定位不同环节的延迟来源。
- 智能体成本 逐一复现并修复智能体账单偏高的四个原因：时间戳变化破坏缓存，修复后缓存命中率从0%升至73%；上下文不断增长，使后续请求携带更多内容；重试循环导致请求重复执行；模型选择错误。通过分别排查缓存、上下文、重试行为和模型选择，定位费用偏高的具体来源。
- 智能体调试 通过标签查找某个用户的一次智能体运行记录，并阅读该次运行的追踪，逐项定位三种失败情况：请求返回 404 后发生重试；回复虽然返回状态码 200，内容却被截断；第二轮对话则出现 400 错误。区分重试、成功状态下的回复截断与第二轮请求失败，明确各类故障出现的位置。
- 编程代理费用 通过网关完成一次 Claude Code 运行，并按三个代理分别拆解调用费用：三个代理各自的首次调用合计占总账单的 72%。本次总费用为 $0.17，首次调用合计约 $0.1224，其余调用占 28%，约 $0.0476。网关接入配置只需设置两个环境变量。
- 智能体日志问题 将 LLM 网关添加到 Claude，作为自定义连接器使用；完成登录后，授予请求日志的只读访问权限，再在聊天中直接提问。此流程涉及网关接入、登录授权、读取请求日志和聊天提问，权限范围限定为读取日志。核对记录涵盖三个问题、14 次工具调用，调用结果已逐一检查。
- Agent 日志工具 使用 API key，通过 MCP 将 LLM 网关的日志工具接入自己的 Agent，让 Agent 利用日志开展成本排查。示例中，小模型完成一次成本调查花费 $0.0015，而固定 REST 查询的成本为 $0。两种方式分别对应模型参与的成本排查与固定接口查询，展示了具体的费用差异。
- 提示词版本管理 将 LLM 提示词存入提示词库，通过 prompt_id 调用，无需在请求中内联提示词；上线时通过移动标签切换所用提示词。实测从移动标签到实际调用生效需要 8 到 9 秒，提示词用量为 114.5 个 token，与内联请求的 114.5 个相同，未增加提示词 token 消耗。
- 提示词上线 按会话将10%的生产流量分配给新版提示词，并以会话为单位固定版本。实测200个会话中有8.0%命中新版，即16个会话，其余184个使用原版；实际占比较目标低2个百分点，所有会话均未切换版本。新版单次调用成本为原版的1.94倍，即增加94%。
- 提示词测试 缩短后的提示词漏掉了一条规则：在110条新消息的测试中，新版有18次未写出订单号，遗漏率为16%，旧版则没有一次遗漏。然而，此前一次仅含40行的测试并未发现任何漏写，表明单次小规模测试的零遗漏结果，不能代表缩短后的提示词在新消息中仍能完整遵守规则。
