结论先说:企业知识库如果只用纯文本问答验收,无法证明它能正确处理企业真正依赖的复杂文件。技术规范往往包含图纸、表格、脚注和跨页关系,报价与台账依赖电子表格公式,方案和培训材料又以幻灯片版式表达层级。11月10日,Google与Artificial Analysis发布多模态知识工作基准MKA,把“打开文件、渲染页面、检查图表与公式、交付可用文件”纳入同一任务。对企业RAG最直接的启示是:验收对象应从答案文本扩展到文件可读、证据可定位、关系可推理、公式可复核、权限与版本一致,以及交付物可用。
本轮优先核验北京时间执行前24小时的一手材料,工业场景补充扩展到48小时。最终保留2026年11月9日至10日的7条合格更新,覆盖复杂文档、长周期模型、Token成本、智能体测试、运行时、物理AI与机器人仿真。未取得搜索量、热搜或站长实时查询,不用工具热度代替客户需求。
今日重点
- 复杂文件成为知识工作评测对象。 Google与Artificial Analysis发布MKA基准,覆盖10个行业、83种职业和200项任务,每项由专家完成通常需要3至8小时。已核验的是公开方法与范围;未知的是企业自有文件和权限下的实际成绩。知识库负责人应关注能否正确打开、渲染和检查文件,而不是只看聊天答案。
- 评测开始同时检查事实与交付物。 MKA任务的评分量表平均约70项是非判断,事实准确占75%、视觉设计占25%。代理评分器会打开和渲染文件,并检查电子表格公式;官方报告其与领域专家一致率为96%。这些数字属于该基准方法,不代表任意企业验收可以无人复核。
- 长周期模型需要按任务深度使用。 Google把Gemini 4 Carbon定位为深度、长周期复杂任务,把Argon定位为多数常规工作,并说明Carbon会消耗更多Token。企业要关注模型路由、任务预算和中止条件,不能把“更强”理解成所有问答都使用最重模型。
- 模型成本数据开始下沉到单次调用。 AWS公开Tokenomics数据湖示例,集中记录跨账号调用中的模型、Token、IAM身份及推导成本。它能支持按任务核算,但提示和响应本身可能包含敏感信息,日志字段、脱敏、保留期与访问审计必须先设计。
- 智能体测试强调证据产物。 TCS公开的测试编排器把项目上下文、API与浏览器执行、租户隔离和证据放进同一流程。其约100场景的内部代表性工作负载报告88%工作量下降;该结果不能外推其他项目,值得借鉴的是执行证据和隔离边界。
- Agent运行时继续补充确定性控制。 NVIDIA宣布向CNCF沙箱捐赠OpenShell,并介绍Agent Substrate与Snapshot。厂商在B300上的加速数字只适用于披露条件;企业验收仍需看策略生效、隔离、检查点恢复与自有硬件成本。
- 物理AI与机器人仍把安全和仿真放在部署前。 AWS合作案例强调以代码落实工厂数据契约和边缘安全;NVIDIA的CoRL更新覆盖精细操作仿真与开放基准。两者都不能替代真实工位的节拍、精度、安全与回退验证。
重点拆解:复杂文件为什么会让纯文本验收失真
一份设备手册可能在正文写“按图连接”,真正的部件关系只存在于示意图;一张质量报表可能要结合单元格公式、合并表头和条件格式才能判断异常;一份方案演示则可能用版式、颜色和箭头表达优先级。如果系统只抽取连续文本,它可能检索到相关词,却丢失页面上的空间关系、图表含义、公式来源和版本状态。
MKA的方法把这一差异显式化:所有被测模型使用相同的开源工具、沙箱和轮次预算,任务不仅要求回答问题,还可能要求生成或修改演示文稿、电子表格、文档和PDF。评测器随后打开并渲染文件,检查版面、事实和公式。这不能直接成为企业采购分数,但提供了一个更接近真实工作的验收框架。
企业知识库可把复杂文件验收拆成六层:
| 验收层 | 要回答的问题 | 可留存证据 | |---|---|---| | 文件可读 | 指定版本能否完整打开并渲染 | 文件哈希、页数、工作表与幻灯片清单、解析错误 | | 内容可见 | 文字、表格、图形、脚注与批注是否被识别 | 页面图、区域坐标、单元格、对象类型 | | 证据可定位 | 答案能否回到页、图、表、单元格或对象 | 引用链接、页码、区域框、工作表与单元格地址 | | 关系可推理 | 能否理解跨页、图表与正文、表头与数据的关系 | 中间证据、关联对象、冲突与缺口 | | 公式可复核 | 电子表格是否保留公式、单位和输入输出 | 公式文本、依赖单元格、计算结果、异常标记 | | 权限与版本一致 | 不同角色是否只看到获准版本 | 用户角色、ACL快照、文档版本、生效日期与拒绝回执 |
这六层应在同一道任务上串起来。例如,“根据最新设备规范和最近三个月台账,判断哪类故障需要预防维护”,系统不仅要找到规范段落,还要读取台账中的日期与公式,区分历史版本,并把结论定位到具体页和单元格。只给一段流畅回答,无法证明链路完整。
如何建立企业自己的复杂文件验收集
第一步按文件类型和业务后果分层抽样。至少覆盖扫描PDF、数字PDF、带图表的Word、带公式的Excel、带母版与图形的PPT,以及企业真实使用的图纸或导出报表。再按高频查询、跨文件比较、计算、版本冲突、权限差异和无答案问题分组。不要随机抽一批文档就称为代表性样本。
第二步让业务人员定义可检查的任务与证据。可先用40至80项任务做小规模试验,这是本文给出的实施示例,不是MKA规定或实际报价。每项任务都应写明输入文件、允许角色、参考证据、必须检查的页或单元格、允许的输出格式、失败后果和人工升级条件。
第三步把渲染检查放进验收流水线。PDF与幻灯片要逐页渲染,表格要检查工作表、公式、单位和隐藏区域,生成的文件要重新打开。若系统声称修改成功,却产生损坏文件、丢公式或版式溢出,应直接判失败,不能只根据最终回答打分。
第四步把“模型答对”与“项目可用”分开。模型能力基准能帮助筛选技术路线,但企业验收还要记录引用可用率、权限泄漏、过期版本命中、无答案停止、P50与P95延迟、每任务Token和人工复核量。复杂任务可以升级到更强模型,简单查询应保留低成本路径,并设置最大轮次、预算与超时。
第五步保留盲测与回归集。调试样本和验收样本必须分开;文档解析器、模型、提示、权限规则或渲染组件升级后,用同一回归集复测。若只在公开基准或已看过的样本上优化,很容易得到不能迁移到生产文件的分数。
白泽的重庆RAG开发服务覆盖文档解析、检索、权限、引用和评测;侧重知识管理可查看企业知识库建设。公开的污染源智能体案例可用于理解多来源证据与受控流程,但它不是MKA实测,也不代表已验证所有复杂办公文件。
适用条件与风险
复杂文件验收适合技术资料、质量文件、报价台账、制度附件和方案文档占比较高的企业。若知识库只包含结构简单、版本稳定的纯文本,先做基础检索与引用即可;若文件权限、版本和格式治理尚未建立,优先补齐内容治理,再扩大模型能力。
主要风险包括:OCR把表格读成错误顺序;渲染正常但结构化抽取丢失图表关系;公式被替换为静态值;隐藏工作表或批注泄露;旧版文件被高相关度召回;模型能描述图表却无法给出可定位证据;自动评分器与业务人员判断不一致;基准表现被包装成项目承诺。对应措施是分层证据、人工复核、盲测、回归和保守权限。
今日企业行动
- 从现有资料中选出PDF、Word、Excel、PPT和业务图表各一组,记录版本、权限、页数、工作表、公式与已知解析问题。
- 为每类文件写5至10项真实任务,答案必须能定位到页、图表或单元格,并加入权限差异、版本冲突和无答案样本。
- 让候选方案在同一盲测集上完成“打开—理解—引用—交付—复核”,同时记录质量、P95延迟、Token、人工复核与失败文件。
准备咨询时,可提供脱敏文件样本、格式与数量、权限角色、版本规则、20至50项代表任务、期望引用位置、输出文件类型、并发与延迟目标。白泽智能|重庆斯巴达信息技术有限公司。
来源与证据边界
- Google:多模态知识工作基准MKA(2026-11-10)
- Google:Gemini 4 Carbon发布(2026-11-10)
- AWS:Bedrock Tokenomics数据湖(2026-11-10)
- AWS:TCS智能体测试编排器(2026-11-10)
- NVIDIA:OpenShell与Agent基础设施(2026-11-10)
- AWS:工厂物理AI的数据与安全契约(2026-11-09)
- NVIDIA:CoRL机器人仿真进展(2026-11-09)
公开基准、厂商定价、内部工作负载、合作案例和研究演示只按原始范围陈述,不作为白泽项目成绩、采购收益或上线承诺。未取得实时搜索量、热搜、站长查询或需求规模。

