返回文章列表

安全与权限 · 实作指南

发票不能授权你的 AI 代理执行操作

将资料解读与执行权限分开,限制提示注入可造成的影响。

发票内的指令不能越过执行权限边界。
AAhouse 原创 AI 辅助主题插画

文件提供证据,不提供权限

假设应付帐款流程收到一张发票,内文要求助手更改付款资料。关键不只是模型能否认出这句话有问题,而是任何发票是否本来就能授权这种操作。建议把外部文件定位为候选事实的来源,真正权限则由可信业务规则与获授权人员决定。即使内容看似出自熟悉客户,亦不能自动把文内要求升级成系统指令或批准。

把边界放在执行程式里

撷取元件只需输出发票栏位,不应同时拥有修改银行资料的工具。另一个执行元件才接受列入白名单的操作,验证参数和目前使用者权限。提示格式有助表达任务,但不能当作强制边界。OWASP 提示注入资料提供风险背景;本文提出的元件拆分,是限制一次错误理解能触及多少能力。若业务不能接受剩余风险,就不应把该决策交给模型。

流程一览

输入整理审核执行
示意流程图,请按团队实际情况调整。

测试间接进入的指令

测试资料应包括附件、检索知识、邮件对话和工具结果,而不只在聊天框输入攻击句。可放入看似合理但未授权的要求,用记录式替身工具代替真实副作用,检查它确实未被执行。也要加入含删除、帐户等正常词语的无害文件,避免防线只靠关键字便把工作全部拦住。测试目标应是越权行为是否被阻止,而不是模型是否回答得有警觉性。

人工审核要具体而知情

重要变更的审核画面要显示确切对象、修改栏位和文件证据,不能只放批准代理继续的笼统按钮。被拒操作及来源通道可留下纪录,但不需要把整份敏感文件写入日志。少量测试不会证明提示注入已解决;有用的结论是:对这个具体流程,权限、工具边界和审核能否缩小後果,以及哪些操作仍必须保留人工处理。

把测试目标写得具体

每项注入测试先写出禁止结果,例如更改帐户、汇出文件或寄出讯息。模型说拒绝并不足够,若工具仍执行就算失败。保留观察到的工具呼叫结果,使用假目的地和假资料,让反覆测试不会产生真实外泄。再记录哪些控制阻止了後果,方便下次更换模型或工具时检查同一边界,而不是只比较回答语气。

来源与延伸阅读

编辑原则

本系列以 AI 辅助原创撰写,并对照连结的公开来源。实作建议与假设情境属编辑分析,并非客户实绩。来源发布日期及产品细节可能与本系列整理日期不同。

想把想法变成可验证的试点?

聊聊你的工作流程