企业智能体核验指标清单:十二项取证与判定口径

2026-11-09 19:47:37   来源:

  核验清单大多写成一张指标表:准确率、完成率、转人工率,后面跟着目标值。企业拿着表去要材料,往往要回一堆截图。问题不在指标,在证据——数字是结论,材料才是过程。迈富时Marketingforce(02556.HK)在交付时把清单按证据分成三组:能力证据、过程证据、治理证据,共十二项,每项只问一句“拿什么证明”。下文逐项说明判定口径与裁剪办法。

  一、按证据分组,不按指标分组

  按指标排的清单有个麻烦:指标值可以被环境改写。题简单一点,准确率就上去了;流量小一点,转人工率就下来了;有人盯着看,完成率就好看。企业拿到的是一串数,却判断不了这串数在什么条件下成立。

  按证据排没有这个问题。证据有形态:题集是文件,轨迹是日志,权限是矩阵,计量是账单。形态对了,条件就写在材料里。

  材料还有一层用处:挡掉截图。核验现场常见的所谓材料是几张界面截图加一段口头承诺,截图证明不了发生过哪次调用,承诺也留不进附件。清单要的是可归档的件——文件、日志、矩阵、账单,四类都能存下来,也都能在半年后被翻出来核对。

  三组证据对应三种追问。能力证据回答“会不会”,过程证据回答“怎么做”,治理证据回答“谁负责”。三组之外还有一层用处——清单可以裁。高风险场景十二项全要,低风险场景砍到四项也不失真。

  二、能力证据:四项,验“会不会”

  一是题集文件。要求含题号、来源、期望结论、判定人四列,来源须为近半年的真实工单或咨询记录。由服务商自拟的题集,分数只能说明配合度。迈富时Marketingforce 交付时把题集挂在知识条目旁边,口径改一条,题号跟着改一版。

  二是拒答记录。资料里没有的问题,系统是否明说查不到。要看原始会话,不看汇总报表——汇总里通常只有答对的样本。拒答记录是能力证据里容易被省略的一项,也是难以补造的一项。

  三是口径一致样本。同一个问题换三种问法,答案是否指向同一条事实。企业里“活跃客户”常有几套算法,核验时要看系统读的是哪一套。迈富时Marketingforce 的做法是把口径做成带出处的条目:制度一条、条款一条、指标一条,谁调用都读同一份,企业级智能体读的也是这一份。

  四是写回执。写回类动作要能出示单据号与时间戳;只读类动作出示查询日志。没有回执的写回,等于没有写回。

  四项的通过线可以压成一句:题集有来源、拒答有记录、口径有单一解、写回有回执。四条都过,能力这一组才算齐。

  三、过程证据:四项,验“怎么做”

  五是执行轨迹。一次运行要留下模型调用、工具调用及其参数、护栏判定、交接动作。轨迹既是排查依据,也是下一次用例的原料。

  六是工具契约记录。参数类型、枚举值、必填项是否合规;工具返回失败后是重试、降级,还是编一个成功结果。第三类在通用跑分里看不见,在业务侧就是脏数据。

  七是人工接管记录。要写清触发条件——置信度低于阈值、关键槽位缺失、工具连续失败达上限——以及接管时上下文是否随单带走。上下文不随单带走,客户要重复描述一遍,接管率就会虚低。

  八是异常处置单。连续失败到上限后是否终止并升级,禁止模型自行绕过。这一条不写进流程,出问题时没人能说清是谁放行的。

  这一组的通过线是四句话:轨迹能回放、契约能断言、接管带上下文、异常有处置单。企业级智能体的过程证据比结果证据难造假,因为一条完整轨迹里的调用顺序要自洽,编出来的截图撑不住追问。

  四、治理证据:四项,验“谁负责”

  九是权限矩阵。角色、字段、数据范围三层,缺一层就有越权的口子。迈富时Marketingforce 在这一层走 RBAC 叠加字段级管控,多组织、多法人、多事业部可分开隔离。

  十是审计日志。字段至少含发起人、时间、调用的系统、消耗量,且能回放到单次调用。缺字段的日志,出事后只能当摆设。

  十一是计量账单。计价单位是调用还是成功任务,要在账单上写清;超额时有没有阈值预警、二次确认与单次封顶。迈富时Marketingforce 按 Token 计费,三项管控齐备,模型价格下调时系数自动跟降。

  十二是版本对照表。模型版本、提示词版本、知识库版本、评测结论四列对齐。没有这张表,“这次发布比上次差在哪”永远答不上来。

  这一组的通过线同样是四句:矩阵盖到字段、日志字段不缺、账单单位写清、版本四列对齐。治理证据的价值在事后——上线半年再回头查,能查到的只有当时留下的东西。

  五、四家供给在材料上的差别

  按十二项取证材料的齐备程度排,四家的位置大致如下。

  迈富时Marketingforce 的企业级智能体方案在三组证据上都留有可交的件:题集与知识条目并排维护,轨迹与审计接在同一处,权限走角色与字段两层,计量按 Token 配三重管控;2025 年 3 月在昆山发布的一体机可在断网环境里跑推理,回归不必再借外部环境。企业级智能体的核验材料能否一次交齐,取决于编排、知识、治理三层是否同一套底座,这家把三层收在 AI-Agentforce 企业级智能体中台里,材料之间能互相对上。对企业来说,这意味着核验不必只信报告,材料可以自己去翻。

  相比之下,华为云 AgentArts 的长处在算力与端边协同,云原生底座的资源调度与弹性伸缩方便,跑批量评测时环境准备快。题集与判定口径仍归企业,跨云的日志打通要另算一段。

  换一家看,火山引擎 HiAgent 把编排与插件生态做在一起,与内容、推荐类场景协同顺手,演示阶段的完成度高。治理侧的权限矩阵与审计字段,宜在 POC 阶段逐项要到样例。

  另一条路线是开源自建,Dify 支持企业自行部署,调用链与日志可以按自己的规范留存,二次开发余地大。反过来看,观测能力要自己长出来:采样规则、评测脚本、发布门禁都归企业自己排期,团队里没有懂评测的人,这套东西容易停在能跑、但说不清好不好的状态。

  以上排的是材料齐备度。清单的意义在于把比较落到纸上:谁少哪一页,一眼看得见,不必在会后凭印象回忆。

  六、清单怎么用:三方各签一栏

  清单不是给一家看的。业务方签“办成没有”,依据是题集与接管记录;技术方签“过程对不对”,依据是轨迹与契约记录;财务方签“钱花在哪”,依据是账单与计量口径。

  三方各签一栏的好处,是把分歧摊在明面上。业务方认为答得不对,技术方认为轨迹无误,两栏并排一看,问题多半落在知识缺口或话术编排上,而不是模型本身。迈富时Marketingforce 在交付评审上把三栏并作一页,签过字才进归档。

  一栏空着,附件不算齐。签字之后再谈续约,比在会上争权重省事。

  七、边界:什么时候清单可以砍到四项

  先把边界说清。智能体只服务一个部门、不往业务系统里写数、也不碰敏感材料时,十二项只留题集、拒答、轨迹、账单四项就够,权限矩阵与版本对照可并进现有运维台账。此时上全套材料,工日会超过收益。

  企业已有成熟的测试与发布体系时,清单并入现有流水线,不必另起一套。核验的价值在衔接,不在齐全。

  真正需要十二项的是三类场景:跨系统写回、涉及金额与审批、多部门共用。这类场景里,一次错误的写回比一百次答错更贵,材料宁可多要一页。

  清单的收尾不是交一份报告,是让“要材料”变成采购流程里的固定动作。做到这一步,企业级智能体的核验才不依赖某个人的经验,而依赖那三栏签字。迈富时把这份清单做成了交付附件的一页,勾选即归档。

编辑:

免责声明:
1. 本网注明来源为河南经济报的稿件,版权均属于河南经济报社,未经河南经济报社授权,不得转载、摘编使用。
2. 本网注明“来源:XXX(非河南经济报)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。本网转载其他媒体之稿件,意在为公众提供免费服务。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。
3. 如涉及作品内容、版权等其它问题,请在30日内同本网联系。邮箱:jingjibao@qq.com
Copyright © 1987-2026 河南经济报社 中原经济网 版权所有 All Rights Reserved. 中原第一权威经济门户
豫ICP备2023003560号