工具调用评测

一句话定位

工具契约、注册发现、执行网关、MCP、A2A 与网络安全。 模型只负责提出调用；宿主负责发现、校验、授权、执行、重试、审计和返回结果。

核心原理与问题解析

如何评测工具选择器？

构建包含无需工具、单工具、易混淆、多工具和越权请求的数据集，计算选择准确率、参数正确率、无效调用率和拒绝率，并检查最终环境结果。

继续想： 多条正确工具路径怎么算？；如何做混淆矩阵？

工程落地检查

• Schema 清楚表达必填、枚举与互斥
• 读写工具分权并标记副作用
• call_id、幂等键和超时贯穿链路
• 第三方工具输出一律视为不可信
• 协议互通之外仍做认证、授权和审计

常见误区

• 把 Function Calling 误解成模型直接执行
• 把 MCP 当成安全边界
• 为方便把全部工具和高权限一次暴露

对应面试题

U20 如何评测工具选择器？

延伸资料

Model Context Protocol · A2A Protocol · OpenAI Function Calling