一键测量仪 AI产业愿景最新干货分享：从技术到产品，奇智创新生产的独角兽
由凹庙杨静组织
Qubit 报告 |公众号QbitAI
AI+产业将带来什么价值？
与其他领域有何不同？
在工业视觉领域做产品和解决方案是一种什么样的体验？
工业视觉能为企业解决哪些问题？
你今天达到了什么发展水平？
……
近日，这些问题一一得到解答。
新晋AI独角兽创新奇智的工业视觉团队通过问答的方式探讨了AI在工业视觉领域面临的真正挑战，并分享了应对这些挑战的方法和策略。
在智能制造领域，从事智能质检、智能分拣、预测运维、备件预测、生产资源配置和生产流程优化。与鸿海科技、徐工信息、中冶赛迪、香港怡东集团等制造企业达成合作。
可以说在AI+行业，他们有很多值得分享的经验。
亮点
1、工业视觉是工业自动化的核心领域，包括检测、识别、测量、定位等关键任务。
2、视觉AI感知技术已成为创造产业价值的重要切入点。
3、人工智能相关技术是“工业制造”向“工业智能制造”跨越的基础。
4、工业视觉要解决如何“看”制造现场，如何“感知”和“理解”关键信息的问题。
5、成熟的机器视觉产品必须补充传统算法和深度学习算法。
6、在“工业视觉”领域做产品是什么体验？ “很难有一颗坚硬的心和灵魂”
人工智能给行业带来什么价值？
问：以人工智能为代表的前沿技术能为工业制造特别是工业视觉场景贡献哪些核心价值？
创新启智：工业视觉是工业自动化的核心领域，包括检测、识别、测量、定位等关键任务。擅长解决视觉感知问题的人工智能技术成为创造价值的重要切入点。如今，全球制造业面临着巨大的产业升级压力。
除了头部的少数大型生产企业外，大部分制造生产线都面临着需求快速迭代与信息化、自动化、柔性化不足的矛盾：
一方面，瞬息万变的全球市场需要高效的生产线，按需生产、按需定制、按需迭代；
另一方面，数据采集难、互联互通、自动化程度低、自动化站间缺乏协作、良率量化评估和精准归属难，构成了制造业提升效率的总体挑战。
大多数制造企业需要大踏步地在较短的建设周期内补齐信息化、自动化、智能化三大短板，实现跨越式发展。
物联网、大数据、机器视觉、自动规划与决策、自动控制等前沿技术是这一过程中的关键技术。其中，人工智能相关技术是从“制造”向“智能制造”跨越的基础。
Q：针对工业视觉场景，为什么工业视觉需要人工智能？
工业视觉必须解决如何“看”制造现场，如何“感知”和“理解”关键信息的问题。
目前，光学成像技术、多传感器融合技术、光传感和光处理芯片技术有了很大的提升，让“看得更小更清晰”成为现实。在此基础上，人工智能正好可以帮助我们“感知更准确，理解更深入”。
以电子制造行业为例，我国相关生产线上视觉检测相关工作站的年人工成本约为60亿元。
前沿技术的进入，将视觉检测的过程从相对广泛、难以量化的劳动密集型工位升级为可准确量化、完全可追溯、可智能整合数据的全自动工位，带来生产效率和产品质量的显着提升。
做工业视觉领域的产品是什么体验？
Q：在工业视觉领域规划、定义和设计一个产品或解决方案是一种什么样的体验？
挑战很大。说到经验，“用心，用筋骨”。
在工业视觉领域，一个产品的正向开发会经过需求调研、总体方案设计、关键技术验证、子系统方案设计、样机试制、现场方案验证、产品发布、市场推广每个阶段都需要产品经理带领团队朝着正确的方向发展，将全部的精力投入到打磨和优化上。
在上述过程中，产品经理的思维需要随时在宏观和微观之间切换：在考虑客户需求和产品定位时需要宏观思维；在考虑技术实施时，要着眼于各个关键层面的技术细节；在布局产品线时需要考虑差异化配置对不同客户的匹配；现场方案验证时，需要注意具体数据和定制要求。
但是做这个领域的产品经理也是很有成就感的：工业视觉产品，尤其是自动化视觉设备，是最有成就感的产品。当产品顺利交付并在客户生产线上稳定运行时，客户的肯定是对产品开发团队最好的回报。
问：该领域的产品规律与其他领域有哪些不同？
首先，有很多要求。
在工业制造领域，客户最关注的两个指标是产能和质量。
围绕这两个看似矛盾的指标，工业视觉的产品设计可以分解为多个设计指标：
行业客户在方案沟通阶段会给出详细的规格说明，有时甚至会涵盖成百上千的规格定义。
其次，需求来源多。
工业制造领域的产品具有明显的企业级（ToB）产品特征，决策方、采购方和用户通常不是同一个团队。
例如，决策方可能是工程部或设备制造部，采购方是采购部，用户是生产部。不同阶段的客户部门不同，不同部门对产品的要求也不同。
同样，定制化程度高。
因为不同的客户生产线布局不同，线速度不同，上下游工艺设备不同，甚至升降机高度不同（决定设备的最高高度），所以交付给每个客户的产品更加个性化。
但同一个工业视觉产品系列的核心功能应该保持稳定。
Q：工业视觉技术可以抽象为几个方面，比如如何“看”，如何“感知/理解”，如何“计划/决策”，如何“执行”。以“看”为例，今天的成像技术和照明技术达到了什么水平？
从成像芯片的角度来看（更精、更好、更宽、更快）。
芯片工艺水平的提升，使得大靶面的CMOS芯片成为主流的工业相机芯片。 2M→12M→29M→60M→71M→150M的演进，使工业检测达到微米级精度，满井容量高，高动态范围和低噪声的特点大大提高了工业相机的成像质量；
高精度镀膜工艺，实现像素级镀膜。基于上述技术的偏光相机和高光谱相机可以在工业检测场景中获取更多被检测产品的维度信息；
TDI技术可以大大减少曝光时间，提高相机扫描频率，配合高速图像采集卡，在高速自动化生产线上进行视觉检测。
从光源的角度来看。
十年前，机器视觉行业的光源产品基本被日本企业垄断。如今，国内机器视觉光源厂商崛起迅速，光源产品种类和质量不断提升。
目前常见的LED光源（条形灯、环形灯、同轴灯、顶灯、背光）和光源控制器已经广泛应用于各种视觉系统，国内供应商也在积极配合各种需求和场景进行照明验证和光源解决方案。
同时，国内各光源供应商积极推动自主光源乃至视觉系统的研发，如多角度线光源、线扫描分时曝光系统、集成视觉控制器等。此外，投影结构光和激光线光源也用于许多3D轮廓或缺陷检测场景。
从成像计划的角度来看。
目前，工业视觉产品和设备有多种成像解决方案。面阵解决方案（静止或飞弹检测）、线阵解决方案、线激光扫描、编码结构光、白光共焦等解决方案已得到成熟应用。复杂的多工位检测设备往往集成了上述多种解决方案，以实现更高的成像率覆盖和3D轮廓测量。
计算成像、高光谱成像和光场相机等新技术将进一步集成到工业视觉解决方案中。
如何将光学技术应用于工业场景？
问：“光”和“光”如何影响具体项目的技术实现？如果您想在您的产品中充分利用光学技术，您应该在设计中关注哪些问题？
作为光学工程师，“垃圾进，垃圾出”是基本概念，光学系统对工业视觉项目的影响也是显而易见的。
整体方案层面：复杂的工业视觉设备基本上集成了多种成像方案，所以也会有多工位设计。只有确定了光路方案，才能确定设备的站位分布和设备布局。
光学系统对产品结构和自动化设计有约束：需求驱动，工业视觉产品分辨率高，同时对设备的可调试性和可维护性等DFX要求必须被考虑。视觉系统通常需要预留调整机制。
合格的光学工程师将设计光学方案，同时输出视觉方案对机器抖动、定位重复性、视觉机构调整自由度、每度调整范围、载体平整度等指标的约束。只有这些指标明确，下游设计不返工，调试更容易。
光学系统对算法性能有指标约束：在工业检测场景中，工业视觉检测设备的核心指标是缺陷检出率和检测精度。比如客户要求90%的缺陷检出率，一般可以拆解为x%的缺陷成像率乘以y%的成像缺陷检出率。两个指标的乘积在90%左右一键测量仪，单项指标需要高很多。在进行成像验证时，光学工程师需要与算法工程师密切沟通，确认缺陷成像是否满足算法检测的要求，从而确保以缺陷检出率为最终目标。
总的来说，我们认为工业视觉产品的开发和设计必须以光学为先。除了设计光学解决方案，视觉工程师还需要在先进的成像方法和先进的产品预研上投入大量精力。
比如LCD时代OLED产品和工艺的预研，OLED时代QLED和Micro LED的预研，让知识积累在不断变化的过程中不至于落伍在上游产品和流程中。简而言之，视觉工程师应该和自动化工程师一样——甚至需要更多地了解流程和流程。
感知层次是如何实现的？
Q：在“感知”层面，工业视觉软硬件组件需要在多大程度上感知工作站场景才能满足业务需求？
感知有多重含义。
以上场景都需要视觉算法的合理选择、设计和配置。
对于检测场景，需要在客户手动检测基准上建立感知基础。对于各种需要检测的产品和工艺，如薄膜材料、卷材、玻璃等，只要有人工检测站，就会有具体详细的人工检测基准。通过各种算法/模型检测图像上的“疑似异常”是第一步（特征检测、物体检测）。之后，如何理解客户的人工判断逻辑，设计相应的算法逻辑就显得尤为重要。例如，常见的人工判断标准会规定缺陷的长度、宽度、面积、点群距离、深度等，我们的算法逻辑也需要以此为基础进行设计。
对于测量场景，常见的方法包括 2D 和 3D 测量。这类场景首先需要确认客户要求的检测精度，然后再拆解视觉系统的分辨率、测量算法的精度等关键指标。有客户使用第二元素（投影影像测量仪）设备作为测量的参考设备。如果所有的测量设备都通过了验收，则需要与第二个元素设备的测量结果进行比较——在这种情况下，即使某个设备的测量结果已经达到了其测量原理的极限，但如果确实如此与参考设备不匹配，将无法顺利发货。
对齐场景在装配、抓取、放置、打孔等过程中较为常见。这也需要先确认客户要求的对位精度。电子制造行业所需的定位精度已达到微米级。对准视觉组件的标定、特征识别、坐标计算等环节需要亚像素精度。部分场景需要多次对齐以确保准确性。
问：一个好的工业视觉产品或解决方案如何选择和结合不同的感知技术？
综合能力是关键。制造业客户更倾向于将整条生产线或整条生产线上的视觉产品分配给解决方案供应商/设备制造商进行集成。在这样的背景下，如果你想获得更好质量的订单，你必须专注于一种视觉产品，同时具备其他视觉产品或解决方案的控制/设计/开发能力。对于好的工业视觉产品或解决方案，需要具备针对各种视觉场景的完整解析能力，基于2D/3D测量、特征检测等传统算法，在一个基于深度学习的检测、分类和分割的基础上，某些这些复杂的场景是有区别的。
人工智能技术与传统行业的碰撞
问：与传统计算机图形学和传统计算机视觉技术相比一键测量仪，以深度学习为代表的新一代人工智能技术有哪些优势？深度学习技术与传统技术在解决工业视觉问题上有什么关系？
例如，在一些外观缺陷检测项目中，早期只使用传统算法。在保证缺陷检出率的前提下，过检率比较高，给客户的人工重新判断工作量比较大。没有为客户减少过多的人力。
对过检图像进行分析后发现，过检主要由污垢、灰尘等引起，依靠传统算法难以区分这些过检源与真实缺陷。通过引入深度学习算法，验证了基于深度学习分类的过检抑制效果。经过多轮模型优化（现场过检图像返回→模型训练和更新模型→现场验证和过检图像持续反馈），过检率显着降低，客户非常满意。
再比如，整个手机的外观检测一直是电子制造领域一个非常难的方向。 2017年之前很少有厂商敢尝试。2017年之后，随着视觉设备硬件解决方案（频闪、飞拍、6轴机器人）的多样化，厂商逐渐开始在市场上尝试。手机的功能模块很多（摄像头、听筒、扬声器、按键、充电孔），形状多样（玻璃、金属、镜面、磨砂、倒角、曲面），缺陷类型多样（所有外观缺陷的组合场景）。成像情况复杂，传统的基于特征检测的算法难以覆盖所有缺陷。
基于深度学习的算法在近几年的试验中得到了很好的反馈。相信在不久的将来，会有一款成熟的产品，能够超越整机外观极高的技术门槛。
这说明成熟可用且性能可靠的机器视觉产品必须补充传统算法和深度学习算法。例如，面板行业的平均周期时间可以短至2.5s。
在高线速要求下，单个产品的算法检测时间（按100Mb数据量计算）需要控制在1.5s以内。
此时，传统算法通常比深度学习算法具有速度优势。
另一方面，对于传统算法难以实现的分类和复杂场景，深度学习算法更容易炫耀。
问：在“规划/决策”和“执行”层面，一个好的工业视觉组件应该如何与工业制造的整体自动化系统进行交互？比较困难的产品和解决方案设计问题是什么？
“计划/决策”层面与“执行”层面的交互可以直观理解为视觉系统与整机自动化系统的交互与握手，或者上位机的交互与握手软件和下位计算机板/PLC。从功能划分来看，视觉系统理论上只负责视觉相关的动作，PLC控制机器的所有运动轴、电磁阀、传感器。
因此，在控制层面，相机/采集卡的初始化、光源的亮度、光源亮度的调整、图像的存储和检查都完全由视觉系统控制、产品的搬运/交接、各轴运动、气路通断、气压/温度/安全光栅/扫码/急停复位启动按钮的控制完全由PLC控制。
在交互层面，图像采集和检测结果反馈需要上位机和下位机之间的通信交互。 PLC接收到扫描设备返回的产品ID后，将ID发送给上位机进行图像命名和存储；当产品移动到预设的图像采集位置时，PLC会通知上位机可以采集图像并等待上位机完成采集信号，然后执行后续流程；上位机完成图像检测后，将产品的OK/NG结果反馈给PLC，方便产品的分类下料。
当设备中有大量可视站时，上位机与下位机的交互包括各可视站上位机的通信和各可视站与PLC的通信交互。因为每个视觉站的操作过程是并行的，而且每个站的产品并不一致（设备中可能同时有多个产品），所以交互方案会变得非常复杂。
创信启智是如何做到的？
Q：创信启智承接了很多典型的工业视觉项目。在这些项目中，您认为最大的技术挑战是什么？
创信启智不仅提供工业视觉项目的核心软件和算法，还集成了自主研发或采购的机器设备。在这个过程中，最大的挑战是基于机器视觉的软件算法团队和基于光电的自动化团队如何默契合作。
例如，高精度AOI自动光学检测需要完整的光学解决方案、稳定且抗振的机器、重复定位精度高的运动机构以及上下游精确联动以匹配节拍生产线。软件和硬件必须协调，才能达到最佳效果。
另一个技术挑战是快速适应要测试/测量的新产品。
工业行业产品种类多样，产品迭代速度快。
以电子制造业为例，机型切换需要调整产品载具、调整输送机构真空吸嘴的位置、调整相机工作距离/镜头焦距/光源位置、调整图像捕捉位置、调整探头下压位置、切换软件模板、调整检测参数、优化算法模型、调整放卷位置等数十项操作。每次切换，机器视觉模型和整体方案的定制部分都必须快速适应新场景。
问：创新的ManuVision工业视觉平台将“感知/理解”、“规划/决策”和“执行”的过程连接成一个完整的技术平台，大大降低了工业视觉系统开发和实施的难度。视觉解决方案。从产品角度看，ManuVision平台能为工业视觉场景贡献什么价值？
ManuVision 平台的设计理念是让工业视觉产品开发更快，让工业视觉项目交付更轻。 ManuVision 平台包括三个关键功能模块：Designer、Runtime 和 Trainer。
Runtime 模块是设备业务执行模块。通过本模块的界面，可以实时观察设备容量、各站图像、检测结果、异常信息、操作日志等；当设备切换到对应的产品时，可以通过Runtime模块业务流程和深度学习模型切换对应的产品。
Designer 模块是用于测试解决方案和业务流程配置的模块。 Designer模块将工业视觉流程中的核心操作封装成功能块。通过直观地添加和连接功能块，交付团队和客户的产线设备工程师可以快速构建完整的业务流程。
训练器模块预设预训练模型。生产线设备工程师、QC 和操作员不需要任何算法基础。他们只需要使用标注工具完成缺陷标注，Trainer模块就可以自动完成预设模型的优化和测试。模型可以一键部署到运行时界面。
总的来说，ManuVision工业视觉平台将我们对工业视觉技术和产品的整体思考整合到一个统一的软件框架中，是工业视觉场景从“制造”向“智造”升级的有效工具。
——结束——
Qubit QbitAI·今日头条号签
