AI技术解读 · AI日报 · 2026-11-21

AI日报|知识库验收先建合成试验场

企业知识库和数据智能体应先在可重复、带已知答案和故障哨兵的合成试验场验收,再用少量获准的真实脱敏任务校准。

企业知识库在隔离合成试验场中经过权限、答案和故障检查的生成式概念场景
AI生成概念场景:用于说明知识库合成验收试验场,不代表客户实拍、真实数据或项目证据

结论先说:企业知识库或数据智能体进入采购验收时,不要直接复制生产库做测试,也不要只用十几条干净问答证明“能跑”。更稳妥的做法是:先冻结一份脱敏业务蓝图,生成结构相似、因果一致、带已知答案与故障陷阱的合成试验场;再用少量获准的真实脱敏回放校准。这样既降低生产数据暴露,又能重复测试权限、口径冲突、工具失败、漂移和幻觉。

11月20日,Google Cloud提出给数据智能体建“风洞”:以合成数据资产、确定性模拟器、已验证答案和幻觉哨兵构成可复现试验场。同日的数据工程、身份、密钥和构建环境更新,把范围进一步从“回答对不对”扩展到“用什么身份、在什么版本、调用哪些工具、能否重放”。Siemens对PPAP证据包的讨论和NVIDIA前一日的物理AI仿真更新,也从工业侧印证同一原则:先把可控环境和证据链建好,再进入真实流程。

本轮优先核验北京时间执行前24小时的一手材料,共保留7条11月20日更新;为覆盖机器人仿真,扩展48小时纳入1条11月19日材料并明确日期。未取得实时搜索量、热搜、站长查询或需求规模;以下候选强弱是编辑判断,不把厂商发布数量当采购需求。

今日重点

重点拆解:为什么要先造一个“假的业务世界”

生产数据最真实,却往往不是最适合第一轮验收的数据。它可能含客户身份、合同、位置、账号、设备故障或尚未公开的经营信息;直接复制会扩大暴露面。生产库还会持续变化,同一问题今天和明天可能得到不同答案,导致失败难以复现。更危险的是,团队常常不知道生产问题的唯一正确答案,只能凭“看起来合理”判断智能体。

另一端的玩具数据也不够。十几份格式统一的文档、字段完整的表格和没有权限冲突的问题,容易让演示显得顺滑,却跳过真正昂贵的失败:同名指标口径冲突、跨期数据、撤权后仍可检索、缺字段、重复记录、工具超时、文档版本倒挂,以及材料里故意出现的错误指令。

合成试验场不是随机造几张表,而是按一份冻结蓝图生成“可控但不完美”的业务世界:组织、角色、文档、表、事件和时间关系要彼此一致;每个测试问题对应已知答案、允许证据和禁止证据;故障可按同一随机种子重放;敏感值由合成实体替代。它更像验收设施,不是训练数据噱头。

六层试验场怎么建

| 层级 | 要准备什么 | 验收价值 | 常见遗漏 | |---|---|---|---| | 冻结业务蓝图 | 角色、权限、对象、字段、口径、流程、时间规则 | 定义唯一生成事实源 | 只画数据表,不写业务规则 | | 确定性生成器 | 固定种子、事件顺序、关联记录、异常比例 | 同一失败可以重放 | 每次生成都变,无法比较版本 | | 证据资产 | 文档、表格、图片、日志、版本和生效时间 | 检验跨源引用与时点 | 文档全都正确且格式整齐 | | 答案与规则 | 标准答案、SQL真值、允许引用、拒答条件 | 避免“看起来对” | 只给最终答案,不给依据 | | 故障与哨兵 | 权限冲突、过期材料、注入指令、超时、重复与缺失 | 检验保守失败和幻觉 | 只测正常路径 | | 回放与审计 | 身份、模型、提示、检索、工具、版本、时延和成本 | 比较变更并追责 | 只保存最后一句回答 |

蓝图必须冻结,才能成为版本之间的共同参照。数据可以继续生成,但生成规则、种子、标准答案和权限矩阵都要有版本号。每次改模型、切分策略、嵌入模型、重排器、提示、工具描述、数据库视图或运行时镜像,都在同一试验场重放,才知道变化来自哪里。

验收不能只看答案准确率

建议至少分四层记录。第一层是证据:引用是否存在、版本是否正确、权限是否允许、数字是否可复算。第二层是任务:问题是否被正确分类,检索、SQL或工具是否选对,缺证据时是否拒答。第三层是运行:P50、P95与P99时延、重试、超时、单题完整成本和资源峰值。第四层是变更:新版本相对旧版本新增了哪些失败,能否按影响范围停止与回退。

对知识库/RAG,重点不是追求一个平均分,而是按风险分桶:普通FAQ、跨文档综合、数据查询、权限敏感、过期信息、冲突材料和高风险动作分别统计。权限越界、无依据数字和未经批准的写回要单列,不能被大量简单题稀释。

可使用下面的放行规则:

  1. 必须为零的失败:明确禁止的资料被引用、撤权后仍能访问、未经批准执行高风险写回、把合成测试数据标成真实业务结果。
  2. 设门槛并分组观察:引用正确率、关键问题通过率、工具参数正确率、拒答召回、P95时延和单题成本;门槛由业务风险和现状基线确定,不照搬厂商数字。
  3. 允许进入人工复核的灰区:口径确实冲突、材料缺失或业务规则未定义。系统应说明缺口并请求确认,而不是编造唯一答案。

合成试验场不能替代真实回放

模拟器只会覆盖团队已知道并写进规则的世界。若蓝图漏掉真实业务中的季节波动、异常录入、历史兼容或人工作业习惯,智能体可能只对模拟器表现好。因此,合成测试通过后,还要从获准资料中抽取少量脱敏真实任务,保留当时身份、资料版本、人工结论和最终业务状态,对比合成分布是否偏离。

建议先在影子模式运行:智能体产生答案或操作计划,但不写回;由人工与现有流程同时给出结果。只有当权限、证据、故障停止和回退都稳定,才逐步开放低风险、可撤销、有幂等键的动作。真实回放发现的新失败,应先回填到蓝图和故障库,再重新生成测试资产,而不是只针对一条样本改提示。

费用、范围和周期怎么估算

没有统一报价。成本主要由业务对象数量、权限角色、数据源、规则复杂度、标准答案制作、故障注入、真实回放审批、并发、审计保留和回归频率决定。可拆成:

试验场总成本 = 蓝图建模 + 合成资产生成 + 标准答案与规则 + 故障库 + 回放基础设施 + 人工复核 + 持续回归。

先做一个窄范围试点:选一个业务域、两到三类角色、三种数据源和20至50个高价值任务,覆盖正常、边界、拒绝和故障路径。交付物不只是问题集,还应包括蓝图版本、生成器、合成资产、权限矩阵、答案键、故障清单、运行记录、差异报告和回退规则。周期要根据文档规模、口径争议和审批速度评估,不能在缺少资料时承诺固定天数。

白泽的企业RAG与知识库开发服务可把文档证据、权限、确定性查询、工具回执与回归测试纳入同一交付;污染源智能体案例公开展示了RAG、GIS确定性工具、阶段Agent和人工复核的分层。案例不代表已复测本文厂商产品,也不公开未获准的客户数据或配置。关于生产连接路径,可继续阅读智能体接系统先分接口与屏幕。

今日企业行动

  1. 选一个知识库业务域,冻结角色、权限、对象、字段、口径和时间规则;把仍有争议的口径标成“未知”,不要让模型自行决定。
  2. 准备20个脱敏任务,为每题写标准答案、允许证据、禁止证据和拒答条件,并加入撤权、过期文档、缺字段、超时与注入指令。
  3. 在同一测试种子上回放当前版和候选版,分别记录证据、权限、任务、尾时延、成本与新增失败;缺回退规则就不进入写回。

准备咨询时,可提供脱敏文档与表结构、问题集、角色矩阵、口径字典、工具清单、当前错误样本、真实回放审批范围、并发与时延目标、审计保留和回退责任人。白泽智能|重庆斯巴达信息技术有限公司。

来源与证据边界

外部厂商方法、案例、产品状态、预览能力和数字只按公开范围陈述,不作为白泽项目成绩、固定节省、固定周期、报价、搜索排名或询盘承诺。

知其然,知其所以然,知其应然,使之然。

让人工智能从“能回答”走向“能创造结果”