企业讨论 AI 风险时,常会出现一组听起来正确、却很难用于决策的表述:模型经过评测、数据受到保护、关键操作有人审核、系统可以追溯。
真正到了上线审批、客户尽调、事故调查或权限扩张时,管理者往往还要继续追问:用什么任务测过?测试对应哪个版本?失败样本在哪里?人工究竟审核了什么?最近一次复测是什么时候?
近期一项行业动作把这种落差摆到了台前。
10 月 7 日,全球电信行业联盟 TM Forum 与 Accenture 宣布启动多年期“可信 AI”项目,计划建立治理认证、行业基准和信任等级验证。公告引用其近期研究称,72% 的通信服务提供商认为自身 AI 能力可信,但只有 14% 能验证这种判断。
这组数据来自行业组织公告,公开页面没有同时提供样本规模、地区构成、问题定义和调查方法,因此不能外推为所有企业的普遍比例;拟议认证和蓝图也尚不能证明实际实施效果。但它提出的问题非常现实:企业可能已经拥有很多关于 AI 的信任判断,却没有形成可复核、可更新、可用于授权的信任证据。
当 AI 从生成草稿走向调用工具、修改记录、影响客户和协调其他 Agent,“我们相信它”不再是充分的上线理由。企业需要把信任从一种态度,改造成一套能够支持具体决定的生产能力。
不要证明“AI 可信”,要证明“这项委托可以被接受”
“可信 AI”容易被写成一个覆盖全公司的大标签。但同一套系统在不同任务中,风险完全不同。
一个 Agent 可以安全地整理公开资料,不代表它可以读取客户合同;可以生成退款建议,不代表它可以直接修改账务;在历史测试集上表现良好,也不代表模型、提示词、知识库和工具更新后仍然适用。
因此,企业需要验证的最小单位不应是模型或平台,而应是一项明确的业务委托。每项委托至少要说清:
这样,“可信”才会变成一个有范围、有时效的结论。例如,企业可以批准某个版本的 Agent 在指定地区、针对已验证的低金额订单生成退款草案,同时明确禁止它直接付款。这个结论不能自动继承到高金额订单、其他地区法规或新的执行工具上。
信任不是系统永久获得的荣誉,而是企业对一项具体委托作出的、附带条件且可以撤回的经营判断。
- 为谁完成什么业务结果;
- 使用哪些数据、规则、模型和工具;
- 可以采取什么动作,不能越过什么边界;
- 错误会影响谁,最大可接受损失是什么;
- 哪些情况必须暂停、降级或交给人工;
- 用什么证据证明当前版本仍满足要求。
给每项生产委托建立“证明包”
不少企业已经保存模型评分、审计日志和审批文件,问题是这些材料分散在不同团队和系统中,无法回答同一个决定。
更实用的做法,是为每项生产委托维护一份随版本更新的“证明包”。它不是为了增加一份合规文档,而是把上线、扩权和继续运行所需的证据连接起来。
证明包最重要的设计,是让“主张”和“证据”一一对应。
如果项目声称“关键动作均由人工确认”,就要能看到哪些动作被拦截、审核者看到了哪些原始依据、有多少建议被修改或拒绝,以及超时后系统如何处理。只有界面上的确认按钮,不能证明监督有效。
如果声称“输出可追溯”,就要能从一次业务结果回到当时使用的数据、规则、模型版本、工具调用和人工决定。只保存最终回答或一条调用日志,也不足以解释结果是怎样形成的。
如果声称“数据不会被越权使用”,就不能只展示静态权限表,还要验证任务运行时实际读取了哪些对象、组合了什么信息、产生了哪些派生内容,以及权限撤销后缓存、记忆和后台任务是否同步失效。
- 证明对象:需要保留的内容:它支持的决定
- 业务适用性:代表性任务、用户群、完成标准、已知不适用场景:是否值得上线,适用于哪些工作
- 结果质量:正确率之外的严重错误、遗漏、拒答、人工改写和分群结果:当前质量是否足以承担任务后果
- 数据与权限:数据来源、使用目的、字段范围、身份、工具权限和保留规则:是否允许读取、组合与执行
- 人工责任:审核对象、可见证据、响应时间、推翻权限和升级路径:人是否真正能够监督,而不是形式签字
- 运行表现:真实失败、漂移、异常调用、客户申诉、回退与恢复记录:是否可以继续运行或扩大范围
- 版本关联:模型、提示词、知识、规则、连接器、评测集及批准版本:证据是否仍然对应当前系统
证据必须跟着系统变化,而不是只在上线前出现一次
AI 系统比传统软件更容易发生“组件没有报错,但行为已经变化”的情况。模型升级、检索语料更新、提示词修改、工具描述变化、业务规则调整,都可能让过去的评测结论失效。
NIST AI 风险管理框架把治理、情境识别、测量和管理视为持续过程,而不是一次性检查;其 Playbook 也明确说明,建议应按行业和用例选择,并非可以机械完成的统一清单。这意味着企业不能把通过一次评审等同于长期可信。
证明包需要设置明确的失效条件:
一旦触发,系统不一定都要停机,但原有信任结论应自动降级:暂停扩权、限制到低后果范围、增加抽检或回退到人工流程,直到新的证据完成。
这比笼统要求“持续监控”更可执行。监控只有连接到具体主张、阈值、责任人和处置动作,才会改变风险。
- 模型、提示词、工具或知识源发生实质变化;
- 任务范围、用户群、地区、金额或后果等级扩大;
- 真实运行出现未覆盖的严重失败或申诉;
- 关键数据源、规则或外部供应商发生变更;
- 到达约定的定期复测时间。
让证据直接控制权限和规模
企业最容易把治理与业务速度理解为对立面:证据越多,审批越慢。但真正拖慢项目的通常不是验证本身,而是每次评审都从头寻找材料、临时解释口径,并依赖少数专家判断。
如果证明包能够自动汇集版本、评测、运行事件和人工决定,企业就可以设计一条清晰的“证据晋级路径”:
每一级都应有进入条件、持续条件和退出条件。这样,业务团队不必等待“证明 AI 永远安全”这个不可能完成的任务,而可以根据现有证据授予与后果相匹配的权限。
同样的机制也能改善采购与客户沟通。面对“系统是否安全可信”的问卷,供应商不再只给出政策文本和架构图,而能说明某项能力在哪些条件下被验证、证据更新时间、剩余限制,以及变更后如何重新确认。可信度因此不再主要来自品牌承诺,而来自客户可理解、可抽查的事实。
- 观察阶段:只读取低敏感信息,不执行动作,重点验证任务适用性和失败分布。
- 建议阶段:生成建议或草案,由责任人确认,验证人工能否识别和纠正关键错误。
- 有限执行阶段:只在明确对象、额度和频率内执行可恢复动作,保留快速撤权和补偿路径。
- 扩大阶段:只有运行证据覆盖新的用户、地区和异常类型,才增加权限或流量。
从一个高价值委托开始,而不是先建设全公司认证体系
TM Forum 的新项目强调行业标准、成熟度基准和认证,这对跨企业协作可能有价值。但企业不应等待外部认证成熟,也不应把拿到认证视为每个具体系统已经可靠。
最可行的起点,是选择一个已经进入生产、即将扩大权限的 Agent,用一次真实的扩权决定检验现有证据。
企业可以先问四个问题:当前批准的究竟是哪项委托?支持批准的五条关键主张是什么?每条主张能否在短时间内找到版本匹配的证据?如果某条证据过期或被真实事件推翻,系统会自动发生什么?
若答案仍依赖项目负责人临时整理截图、口头说明和不同团队的零散记录,就说明组织拥有的是治理活动,还不是可运行的信任能力。
未来企业 AI 的竞争不会只体现在谁部署了更多 Agent。随着系统获得更多数据和行动权限,客户、管理层与一线责任人都会要求更具体的回答:为什么现在可以把这件事交给它,以及出现什么情况时必须收回。
真正可信的企业 AI,不是能够反复宣称自己可信,而是能让每一次授权都有证据、每一次变化都会重验、每一次失效都能及时缩回边界。