先给结论：视觉检测验收样本不能只是供应商挑选的一批清晰缺陷图。先把产品、缺陷、工况、难度和业务后果拆成覆盖矩阵，再冻结一套未参与训练和调参的独立样本；离线核对误检、漏检后，还要在真实节拍下完成重复通过、剔除联锁、断网与恢复测试。样本少或缺陷稀缺时可以分阶段验收，但不能用演示图片替代现场证据。
这套方法适合外观缺陷、装配校验、OCR和喷码识别等在线视觉项目，尤其适合多SKU、反光材质、缺陷长尾和结果直接联动剔除的生产线。它不提供脱离现场的统一准确率门槛：关键缺陷漏检与良品误剔的代价不同，目标值必须由质量、生产、设备和供应商共同确认。
先写验收决策，再决定样本数量
项目经常从“准备多少张图”开始讨论，但数量不是第一问题。验收首先要写清检测对象、系统动作、错判代价和使用阶段。产品型号、检测区域、相机视角、缺陷类别和最小可接受尺度决定覆盖范围；只告警、转人工还是控制PLC剔除，决定风险等级；算法离线验证、工厂验收、量产放行和模型升级回归，也不能共用一句“准确率达标”。
同一张图片可以证明模型识别过某个缺陷，却不能证明相机触发稳定、节拍满足要求、剔除位置正确或异常后能够恢复。国家标准信息公共服务平台显示，GB/T 42980—2023《智能制造 机器视觉在线检测系统 测试方法》已于2024年4月1日实施；YD/T 4918.4—2026《基于边缘计算的机器视觉 第4部分：测试方法》将于2026年11月1日实施，适用范围包含边缘视觉控制器、边缘智能网关、边缘视觉服务器和智能摄像机等设备及系统。公开范围共同提示采购方：验收对象是检测系统，不只是模型分数。本文不复述未公开条款，而是据公开范围给出项目落地清单。
用五个维度建立覆盖矩阵
- 产品：按SKU、规格、颜色、材质、供应商、模具或包装版本分层。玻璃瓶还要记录瓶型、透明度、花纹、喷涂与贴花版本。
- 缺陷：写清区域、尺度、严重度、质量依据和是否必须拦截；无法一致标注的样本先进入争议池。
- 工况：覆盖正常与上限节拍、换型、班次、光源热稳定、振动、姿态偏移、水汽与粉尘；承诺断网检测时，还要测缓存、补传和对账。
- 难度：区分明确、边界和挑战样本。挑战样本包括反光、遮挡、纹理相似、位置偏移与多缺陷叠加。
- 业务后果：区分必须拦截、允许复核和可接受差异。高风险缺陷单独统计漏检，不能被大量低风险样本的平均值稀释。
冻结未参与调参的独立验收集
训练集、调试集和验收集必须隔离。相邻视频帧、同一缺陷实物的多角度照片或同一批次连续样本若被随机拆到不同集合，会让模型“见过答案”。更稳妥的做法是按实物、批次、时间、产线或供应商成组切分，并保留从未参与阈值选择的验收集。
| 字段 | 验收用途 |
|---|---|
| sample_id与实物编号 | 连接图片、实物、检测结果和复核记录 |
| 产品/SKU/批次/时间 | 判断覆盖范围，避免数据泄漏 |
| 相机视角与检测区域 | 定位成像或算法失效位置 |
| 缺陷类别、尺度、严重度 | 形成分层指标，不用一个平均数代替 |
| 质量判定人与依据 | 证明真值来源，保留争议与复核 |
| 图像、设备与模型版本 | 支撑复现和后续回归 |
样本应由企业质量人员掌握冻结清单和最终真值，供应商可以协助整理，但不能单方面选择、删除或更换失败样本。新增样本要留下原因和版本，避免验收中途移动球门。
误检和漏检必须使用同一业务口径
- 缺陷检出率 = 正确检出的缺陷件数 ÷ 实际缺陷件数；
- 缺陷漏检率 = 未检出的缺陷件数 ÷ 实际缺陷件数；
- 良品误剔率 = 被错误判为缺陷的良品件数 ÷ 实际良品件数；
- 人工复核率 = 进入人工复核的件数 ÷ 总检测件数。
这些分母不能互换。一只产品有多个缺陷时，要约定按“件”还是按“缺陷实例”计数；OCR项目则要约定按字符、字段还是整码计数。重复检测同一实物时，应同时报告单次结果和稳定通过率，不能把多次尝试中的最好一次作为结果。
离线样本通过后，还要做真实节拍复测
| 验收门 | 核对内容 | 主要证据 |
|---|---|---|
| 数据门 | 覆盖矩阵、真值、冻结版本、争议样本 | 样本台账、签字、哈希或版本号 |
| 算法门 | 分层检出、漏检、误剔、置信度与拒判 | 逐样本结果、混淆记录、失败清单 |
| 系统门 | 触发、成像、延迟、吞吐、剔除、缓存和恢复 | 设备日志、时间戳、联锁记录 |
| 现场门 | 真实节拍、换型、班次、重复通过和人工处置 | 现场复测、异常复盘、责任人确认 |
现场复测应锁定相机、镜头、光源、曝光、阈值、模型和PLC程序版本，随机化样本顺序，记录每次通过的时间戳和动作结果。换型需要模板切换时，应把错误模板、漏切换和回退流程纳入异常测试。只保留“通过/失败”而不保留原图、判定和动作回执，事后很难判断问题来自成像、算法还是执行。
玻璃瓶项目怎样落到样本表
白泽公开的玻璃瓶案例采用5个高速线扫/面阵视角覆盖瓶口、瓶内、瓶底和瓶身，并以正常样本学习正常特征，输出异常分数和热力图。公开资料把“覆盖100种以上缺陷”列为系统目标，同时明确实际准确率取决于瓶型、缺陷尺度和光学条件，应以具体样本验收结果为准。
因此更实用的验收矩阵是：瓶型/花纹 × 瓶口/瓶内/瓶底/瓶身 × 明确/边界/挑战样本 × 正常速度/节拍上限 × 告警/剔除/归档结果。
正常样本自学习不意味着“只验良品”。仍需用真实缺陷、边界良品、反光干扰和未见异常测试区分能力；极稀缺的严重缺陷可先用实物缺陷库、受控造缺陷或历史留样补齐，合成图只能辅助覆盖，最终放行仍需真实样本。
上线后的回归集比一次验收更重要
换型、光源衰减、相机位移、供应商变化、阈值调整和模型升级都会造成漂移。上线时应把冻结验收集复制为版本化回归集，并在新SKU或新缺陷进入、光学与工装改变、模型或接口升级、出现漏检投诉、维护后成像基线变化时触发复测。
回归集不是越积越大越好。重复、无判定依据或已失去代表性的样本要保留处置记录后退出；关键失败样本进入常驻回归层。每次发布记录版本、通过范围、已知限制、回滚条件和责任人，失败时先退回上一稳定版本或转人工复核，而不是在线继续调阈值。
采购方可直接使用的验收前清单
- 产品/SKU、质量标准和检测区域；
- 良品、缺陷品、边界样本及争议处理人；
- 线速、节拍、换型方式和最大允许延迟；
- 关键缺陷漏检与良品误剔的业务代价；
- 相机、光源、工位、PLC/MES和剔除机构边界；
- 样本冻结、版本管理、原图留存和日志要求；
- 现场复测、异常恢复、回归触发和停止条件。
样本有限时可把首期定义为可扩展试点：先验证成像稳定、样本台账、分层统计、人工复核和证据留存，再依据失败样本扩大覆盖。若质量标准尚未统一、真值无人负责或现场无法保留证据，应先完成范围诊断，不宜直接承诺全自动剔除。
需要把样本、节拍、光学、算法和产线联锁放进同一份任务书，可查看工业视觉质检解决方案，或联系白泽讨论具体场景。建议准备脱敏样本、缺陷标准、线速、现场布置、现有设备接口和可接受的误检漏检边界。
白泽智能｜重庆斯巴达信息技术有限公司
参考来源
- GB/T 42980—2023《智能制造 机器视觉在线检测系统 测试方法》：2023-09-07发布，2024-04-01实施。
- YD/T 4918.4—2026《基于边缘计算的机器视觉 第4部分：测试方法》：2026-07-15发布，2026-11-01实施。
- SJ/T 12099—2026《工业AI视觉外观检测系统技术规范》：2026-04-28发布并实施。
- 白泽智能：通用成品玻璃瓶自学习缺陷检测系统。