AI技术解读 · AI日报 · Agent物理动作安全 · 2026-10-12

AI日报|Anthropic要求AI设备断联保持安全 / 超13万漏洞获验证 / GitHub承认Agent指标无法回补

模型一旦能调用机器人、执行器或远程运维工具,企业必须证明三件事:人能观察、人能停止、断联后设备保持安全。今天把厂商新政策拆成可验收的五层控制链。

机器人单元在操作员监督和实体急停下进入安全状态的概念场景
AI生成概念场景:表现可观察、可停止与断联安全,不代表任何客户现场。

一条控制链最危险的时刻,可能发生在模型已经发出动作、网络却突然断开的下一秒。机器人、无人设备或远程执行器若继续运行,企业无法靠一句系统提示把它停住。Anthropic在10月8日更新使用政策,明确提出三项要求:合格操作员能观察设备、必要时能停止设备,Claude断联后设备仍能保持安全状态。对正在做工业AI、Agent和边缘控制的企业,这三项可以直接写进试点验收单。

因周末一手更新较少,本期在近48小时之外补充10月6日至8日官方资料,并逐项标明来源日期。

今日重点

1. 自主物理动作要满足“看得见、停得住、断联安全”

发生了什么。 Anthropic在10月8日发布2026 Usage Policy update。新政策于11月12日生效。官方说明,过去一年Claude承担了更长、更独立的工作,因此增加了模型连接自主硬件时的控制要求。

已确认事实。 当硬件采取自主物理动作并可能造成人身伤害时,合格操作员必须能够观察设备,并在需要时停止设备;Claude断开连接后,设备还必须能够保持安全状态。这里的“操作员”需要具备实际权限,能改变或终止结果,不能只是旁观者。

仍未知的边界。 公告没有指定PLC、SIS、机器人控制器、现场总线或急停回路怎样实现,也没有把模型策略等同于功能安全认证。企业仍需依据设备风险、机械防护、安全完整性等级和本地法规设计确定性控制。

企业影响。 工业Agent若能给机器人派任务、修改工艺参数、调用远程运维工具或控制无人设备,验收对象就不再只有“回答是否准确”。团队必须逐项证明:人能看到动作状态;审批和急停能生效;网络、模型或上游服务失效后,现场进入预定安全状态。重庆AI开发项目若涉及MES、设备控制或边缘计算,应把这三条排在模型指标之前。

2. 高风险业务仍需能改变结论的人工复核

Anthropic同时重申,高风险用途若影响个人健康、法律权利、财务、生计或基本服务,需要有合格人工参与,并告知受影响者使用了AI。这里的人工必须有权查看依据、改变建议并承担相应职责。

对企业而言,“人工在环”不能只做成一个已读按钮。信贷、招聘、保险、医疗、法律和公共服务流程应记录谁复核、看到了哪些输入、修改了什么、最终业务系统返回什么状态。复核人没有足够信息或没有改变结果的权限时,流程在形式上有人,风险仍由模型决定。

3. 网络安全能力开始按任务范围与组织资质分级开放

发生了什么。 Anthropic在10月6日扩展Cyber Verification Program,把网络安全能力划分为三档。Defense Access覆盖安全运营、事件响应、恶意软件逆向和漏洞分析;Red Team Access增加经过授权的渗透测试;Specialized Access面向可影响生命或市场的高风险安全系统,例如飞行系统、电网、通信网和银行间转账基础设施。

已确认数字。 官方在CyScenarioBench上做了50项试验。Defense档有46项在挑战过程中被阻断,剩余4项成功;Red Team档没有发生阻断,完成34项,与无安全限制时67.6%的完成率接近。数字说明分级策略确实改变可执行范围,不能被解读为模型在所有网络安全任务上的通用准确率。

企业影响。 同一模型是否能调用扫描器、运行利用代码、接触生产网,取决于任务授权、组织资质、目标所有权和现场安全控制。研发环境的许可不能自动继承到生产网;外部供应商的授权也不能覆盖未列明资产。项目应把“谁、在什么范围、用哪些工具、对哪些目标、何时失效”写成机器可检查的能力票据。

4. 至少13.45万个已验证漏洞,发现规模不等于修复结果

Anthropic披露,Project Glasswing合作伙伴在2026年4月至7月发现至少129,000个已验证软件漏洞;其开源扫描在4月至10月另发现5,500个。两者相加至少134,500个,其中超过33,000个目前被评为高危或严重。

这些数字需要和边界一起阅读。官方说数据来自部分合作伙伴的33份报告,不同机构采用不同分拣方法,少于50%的合作伙伴披露了已修复数量。因此,企业不能把“发现多少”直接写成“消除了多少风险”。安全项目应继续追踪去重后有效问题、负责人、修复版本、复测、上线状态和暴露窗口。

5. GitHub Agent看板下降,先查采集链再下管理结论

发生了什么。 GitHub在10月6日说明,一些IDE把Copilot Agent会话迁移到Copilot SDK后,没有标明来源IDE。结果是大部分活动没有进入正确报表,还有一部分被算到Copilot CLI。

已确认事实。 VS Code 1.139.0及以后版本已经修复。Visual Studio、JetBrains、Eclipse和Xcode按官方计划在10月至11月逐步获得修复。历史缺失数据无法回补,受影响时段的Copilot CLI指标也无法重新拆分;计费没有受影响。

企业影响。 如果Agent活动或代码行指标下降,而总使用量继续增加,不宜立即判断团队弃用或效率下滑。先核对IDE与插件版本、遥测端点、代理防火墙和客户端覆盖率,再把看板与服务端请求、合并请求、缺陷关闭及交付周期对账。指标链不完整时,ROI评审应保留“不确定”,不能把缺失记成零。

6. Agent长期记忆要能隔离、超时降级和纠错

AWS在10月6日公布AgentCore与OpenClaw的上下文助手架构。示例把每次对话作为短期事件保存,再异步提取用户偏好、语义事实和会话摘要;以用户命名空间隔离长期记录。每轮检索最多取50条,并设置3秒预算,超时或异常时降级为无记忆回答。

这套设计给企业RAG研发和Agent记忆提供了清晰输入输出:事件是证据,提取记录是派生结论,检索失败不能阻塞主要流程。官方示例面向园艺助手,企业迁移还要补四项:数据保留期、删除请求、人工纠错、敏感字段权限。长期记忆能提高连续性,也会把错误与越权保存得更久。

白泽重点拆解:把模型放在工业安全链之外

一条可验收的自主物理动作链,至少分成五层。

第一层,传感与任务。 设备状态、工单、产品身份和环境约束由可追溯数据源提供。采集超时、时间戳错乱或产品身份缺失时,任务应标为不可执行。

第二层,Agent建议。 模型把目标转成候选动作、参数范围和理由。输出必须结构化,并声明使用了哪些证据。模型可以建议下一步,不持有绕过控制器的直写通道。

第三层,权限闸门。 独立策略校验用户、任务、对象、动作、参数上下限、时间窗和审批状态。撤权、超时或重复请求应在这里被拒绝;请求带幂等键,防止网络重试造成重复执行。

第四层,确定性控制。 PLC、机器人控制器、设备联锁或SIS依据经过验证的逻辑执行。模型输出不能替代机械防护、急停和功能安全。高风险参数由控制器再次检查。

第五层,安全状态与回执。 网络或模型断开后,设备进入并维持已定义的安全状态;业务系统读取真实终态。Agent自报完成只能算过程信息,不能作为放行证据。

工程测试要覆盖正常任务、过界参数、重复请求、网络断开、模型超时、权限撤销、传感器异常和人工接管。任一高风险动作能绕过权限闸门或确定性控制,断联后无法保持安全状态,日志无法关联到设备终态,项目就保持只读、影子运行或人工确认。

今日企业行动清单

  1. 列出所有Agent可触发的物理动作,标明操作员观察点、停止入口、确定性控制器和断联安全状态。
  2. 选择一个工位演练断网、超时、撤权和重复请求;逐项保存审批、控制器响应与设备终态。
  3. 检查Agent看板的数据链;无法回补的时段单独标记,不用缺失指标证明项目效果。

参考来源

  1. Anthropic,2026-10-08,2026 Usage Policy update:https://www.anthropic.com/news/2026-usage-policy-update
  2. Anthropic,2026-10-06,Expanding the Cyber Verification Program:https://www.anthropic.com/news/cyber-verification-program
  3. GitHub,2026-10-06,Update your IDE to restore agent activity in Copilot usage metrics:https://github.blog/changelog/2026-10-06-update-your-ide-to-restore-agent-activity-in-copilot-usage-metrics/
  4. AWS Machine Learning Blog,2026-10-06,Building a context-aware AI assistant on AgentCore and OpenClaw:https://aws.amazon.com/blogs/machine-learning/building-a-context-aware-ai-assistant-on-agentcore-and-openclaw/

相关服务与阅读

FAQ

AI连接机器人后,只要有人盯着屏幕就满足要求吗?

不一定。操作员要能看到足够状态,并有权和有能力停止设备。现场还需满足既有机械、电气和功能安全要求。

模型断联后保持安全,是否等于立刻断电?

不等于。安全状态取决于设备和工艺,可能是受控停止、保持位置、释放压力或进入人工模式,应由风险评估和确定性控制设计决定。

漏洞发现数量可以直接作为网络安全ROI吗?

不能。还要去重、确认影响、修复、复测并核对上线状态。只记录发现量会遗漏处置成本与真实风险下降。

重庆制造企业从哪里开始验证?

从一个动作范围明确、可人工接管、能读取设备终态的工位开始。白泽智能可结合重庆AI开发、Agent编排、RAG研发、边缘计算和系统集成,先建立失效测试与停止条件,再扩大权限。

知其然,知其所以然,知其应然,使之然。

让人工智能从“能回答”走向“能创造结果”