【AI智能体速通】08.用护栏降低AI 智能体安全风险

除了检查系统的正确性和质量之外，我们还必须考虑系统的安全性。
测试并防止负面行为，是构建可靠 AI 智能体的重要部分。

识别并降低安全风险

常见的安全问题包括：

• AI 智能体是否会说出可能损害公司品牌的话
• 它是否会用粗鲁或不专业的方式回应客户
• 它是否会泄露个人可识别信息（PII），例如姓名、地址等

要构建一个真正安全的系统，通常有两项关键做法：

• 添加护栏（Guardrails）
• 在测试中加入安全评估（Safety Evals）

实施护栏（Guardrails）

护栏是一种机制，用来把 AI 智能体引导离开潜在有害的路径。
它的工作方式是：在模型的回复发送给用户之前，先进行验证。

例如，一个护栏可以：

• 先把智能体的回复送入内容审核过滤器
• 检查并移除其中不应共享的个人信息
• 如果客户表达了高风险诉求，例如想取消服务，则自动把问题升级给人工客服代表

安全评估（Safety Evals）

除了前面提到的质量检查之外，我们还应该专门设计关注安全性的评估。
这些测试用于验证系统在面对恶意或不当请求时，是否能够安全地应对和拒绝。