外观
Programmatic Tool Calling 是什么?它如何减少 Token 消耗?
标准回答
程序化工具调用让代码组织循环和汇总,只把必要结果交回模型,减少大堆中间数据占上下文。
- 循环、筛选、聚合可在执行环境完成,再返回必要结果。
- 适合需要多个调用且中间结果较大的任务。
- 执行环境必须限制网络、文件、工具权限和资源消耗。
通俗例子
先查询 100 个订单,再用代码筛出超时的 3 个,把这 3 个交给模型解释;执行代码的环境仍需要权限和资源限制。
深入解释
**省下的是哪些输入:**让受控代码完成批量调用、筛选和聚合,避免把全部中间结果反复交给模型。例如先用代码统计错误数量,再只给模型需要解释的异常项。
**程序运行也有边界:**生成的代码仍要在规定文件、网络和工具权限内执行,并限制资源。代码确定地算出一个结果,不代表它用的筛选条件就一定符合用户意图。
易混淆点
让模型输出代码不等于可以直接在业务服务中 eval;代码编排仍要遵守每个工具的权限。
参考资料
内容来源
- Android · AI Agent 知识手册 · 原条目
ai-Q48