OPRIVONAI WORKFORCE
首页 / 全部指南 / AI 代理的人工审批与控制

OPRIVON · 简体中文

AI 代理的人工审批与控制

AI 可以生成建议,但不意味着它有权执行。可靠的人工监督需要知道谁负责、哪些数据受到影响,以及如何阻止危险操作。

按影响程度区分操作

总结内部资料与发送机密文件、修改付款信息的风险不同。审批级别应由后果和可逆性决定,而非仅由使用的模型名称决定。

分离权限与职责

明确发起者、审核者和执行者。重要任务可能需要第二位批准人。权限应通过系统身份验证和访问控制落实,而不是只写在提示词中。

给审核者充分依据

展示准备执行的操作、相关数据、引用来源和不确定之处。若无法说明影响,不应让用户凭一个通用确认按钮做出决定。

准备撤销和应急流程

为流程设置暂停、权限撤销和必要的操作记录。对无法逆转的步骤采用更严格的保护,并事先演练出错后的人工处理方案。

实践示例:发送客户邮件前的人工确认

假设 AI 为客户服务人员拟好一封答复。拟稿与发送是两种不同权限:草稿可以辅助工作,但正式发送可能披露个人数据或形成错误承诺。

  1. 审查界面:审核人员应看到收件人、邮件正文、引用的数据来源以及标记的不确定信息;缺少必要依据时,系统必须允许退回修改。
  2. 权限边界:只有授权的工作人员能够批准对外发送。应在实际邮件系统里执行权限校验,而不是相信提示词里写着“已获批准”。
  3. 失败处置:收件人异常、附件未经授权或出现保密信息时,应阻止发送,留下必要的事件记录,并提供撤销权限和人工跟进流程。

全部指南

OPRIVON Starter 仍在开发中。文中场景仅供参考,不代表功能已经上市或得到保证。
免费登记意向