你在做什么应用?
按场景给出实测选型,附实时价格,不吹不黑。
- 聊天机器人 分步构建聊天机器人:实现模型选择器,让“停止”操作真正传递至模型提供商并中止上游请求;实测上下文预算及其边界,将超长对话压缩为可复用记忆,并通过网关接入网页搜索,完整覆盖请求控制、上下文管理与外部信息检索流程。
- 智能体追踪 为智能体发出的模型调用添加三个请求头,即可查看每次运行的瀑布图,了解并行调用、自有代码执行耗时、失败调用和费用。瀑布图将模型请求与自身代码的耗时放在同一次运行中呈现,帮助区分哪些调用并行发生、时间花在何处、哪些请求失败,并查看该次运行的调用成本。
- 智能体延迟 逐一复现并修复智能体变慢的三个原因:模型调用串行执行、自身代码中的工具运行缓慢,以及只需一行答案却仍进行推理。串行模型调用修复后,耗时从3.7秒降至1.8秒,减少1.9秒,约缩短51%。分别检查模型调用方式、工具代码和回答所需的推理,定位不同环节的延迟来源。
- 智能体成本 逐一复现并修复智能体账单偏高的四个原因:时间戳变化破坏缓存,修复后缓存命中率从0%升至73%;上下文不断增长,使后续请求携带更多内容;重试循环导致请求重复执行;模型选择错误。通过分别排查缓存、上下文、重试行为和模型选择,定位费用偏高的具体来源。
- 智能体调试 通过标签查找某个用户的一次智能体运行记录,并阅读该次运行的追踪,逐项定位三种失败情况:请求返回 404 后发生重试;回复虽然返回状态码 200,内容却被截断;第二轮对话则出现 400 错误。区分重试、成功状态下的回复截断与第二轮请求失败,明确各类故障出现的位置。
- 编程代理费用 通过网关完成一次 Claude Code 运行,并按三个代理分别拆解调用费用:三个代理各自的首次调用合计占总账单的 72%。本次总费用为 $0.17,首次调用合计约 $0.1224,其余调用占 28%,约 $0.0476。网关接入配置只需设置两个环境变量。
- 智能体日志问题 将 LLM 网关添加到 Claude,作为自定义连接器使用;完成登录后,授予请求日志的只读访问权限,再在聊天中直接提问。此流程涉及网关接入、登录授权、读取请求日志和聊天提问,权限范围限定为读取日志。核对记录涵盖三个问题、14 次工具调用,调用结果已逐一检查。
- Agent 日志工具 使用 API key,通过 MCP 将 LLM 网关的日志工具接入自己的 Agent,让 Agent 利用日志开展成本排查。示例中,小模型完成一次成本调查花费 $0.0015,而固定 REST 查询的成本为 $0。两种方式分别对应模型参与的成本排查与固定接口查询,展示了具体的费用差异。