大模型工具调用安全：从开放 API 到可控 Agent 的权限治理
大模型工具调用（Tool Use / Function Calling）让 LLM 从“会说话”进化为“能做事”。Agent 可以调用搜索引擎、数据库、代码执行器、邮件系统，甚至直接操作企业 API。但能力越强，风险越大。一个不加以约束的 Agent 可能会泄露敏感数据、执行未授权操作、被恶意 prompt 诱导调用危险工具。工具调用安全，已经成为 LLM 应用从 demo 走向生产的关键门槛。
大模型工具调用（Tool Use / Function Calling）让 LLM 从“会说话”进化为“能做事”。Agent 可以调用搜索引擎、数据库、代码执行器、邮件系统，甚至直接操作企业 API。但能力越强，风险越大。一个不加以约束的 Agent 可能会泄露敏感数据、执行未授权操作、被恶意 prompt 诱导调用危险工具。工具调用安全，已经成为 LLM 应用从 demo 走向生产的关键门槛。
json{ "name": "send_email", "description": "向指定收件人发送邮件，仅用于用户明确请求的场景", "parameters": { "type": "object", "properties": { "to": {"type": "string", "format": "email"}, "subject": {"type": "string", "maxLength": 200}, "body": {"type": "string", "maxLength": 5000} }, "required": ["to", "subject", "body"] }}text通过限制参数类型、长度、枚举值，可以在源头减少模型生成危险参数的可能。### 2. 调用前审批与沙箱执行对于高风险工具，应引入调用前审批机制。例如：- 发送邮件需要用户确认- 删除数据库记录需要二次认证- 调用支付接口需要风控校验pythonclass ToolGatekeeper: def __init__(self): self.high_risk_tools = {"delete_record", "transfer_money", "send_email"} def approve(self, tool_name, params, user_context): if tool_name in self.high_risk_tools: return self.request_human_approval(tool_name, params, user_context) return Truetext除了审批，工具执行还应在沙箱或受限环境中进行。例如，代码执行工具应运行在隔离容器，网络访问应受限，文件系统只暴露必要目录。### 3. 基于角色的权限控制不同用户或 Agent 应该拥有不同的工具权限。可以借鉴 RBAC（Role-Based Access Control）模型：pythonPERMISSIONS = { "guest": ["search", "read_document"], "analyst": ["search", "read_document", "query_database", "generate_chart"], "admin": ["*"]}def can_invoke(user_role, tool_name): allowed = PERMISSIONS.get(user_role, []) return "*" in allowed or tool_name in allowedtext权限控制应在 Agent 调用工具前执行，而不是依赖工具后端自身的权限。这可以防止 prompt 注入导致的越权调用。### 4. 输入校验与输出过滤即使权限配置正确，参数本身仍可能被污染。输入校验需要覆盖：- 参数类型和格式- 参数范围（如 ID 是否在合法集合）- 危险模式（如 SQL 注入、路径遍历、命令注入）- 敏感数据（如身份证号、密码）是否出现在不应出现的位置工具返回的数据也需要过滤，防止敏感信息被模型泄露或返回给用户。pythondef sanitize_output(data, user_role): if user_role != "admin" and "salary" in data: data["salary"] = "REDACTED" return datatext## 三、Prompt 注入与工具劫持防御Prompt 注入是工具调用安全中最难防御的攻击之一。攻击者可能通过用户输入诱导模型调用本不应调用的工具或传递恶意参数。常见防御策略包括：-工具描述最小化：避免在工具描述中暴露敏感信息或内部实现细节。-用户输入隔离：将用户输入与系统提示、工具描述严格分离，使用明确的分隔符。-调用意图确认：在调用高风险工具前，要求模型说明调用理由，并由规则引擎复核。-白名单校验：工具的参数值只能从白名单中选择，避免开放文本参数。pythondef validate_params(tool_name, params): schema = TOOL_SCHEMAS[tool_name] for key, prop in schema["parameters"]["properties"].items(): if "enum" in prop and params.get(key) not in prop["enum"]: raise ValueError(f"参数 {key} 不在允许值列表中")text## 四、审计与可追溯性工具调用的每一次执行都应被记录，包括：- 调用时间、调用者、用户会话- 工具名称、参数、执行结果- 调用前的审批状态- 执行耗时和错误信息这些日志不仅是安全审计的依据，也是优化 Agent 行为的数据来源。通过分析高频异常调用，团队可以发现工具 Schema 设计缺陷或 prompt 漏洞。## 五、总结工具调用让 LLM Agent 真正具备了行动力，但也把安全边界从模型输出扩展到了外部世界。生产级 Agent 必须建立完整的工具权限治理体系：清晰的 Schema 声明、严格的调用审批、基于角色的权限控制、输入输出过滤以及全面的审计追踪。安全不是 Agent 的附加功能，而是其架构设计的核心约束。只有可控的 Agent，才值得信赖。