CNC自动测量的模型训练方法、测量方法和系统、设备、介质和过程
CNC自动测量的模型训练方法、测量方法、系统、设备及介质
技术领域
1. 本技术涉及cnc自动测量技术领域，尤其涉及一种用于cnc自动测量的模型训练方法、测量方法及系统、终端设备和存储介质。
背景技术：
c（computerized numeric control，计算机数控）尺寸自动测量是工业视觉领域中非常重要的一个环节，测量精度需要达到微米级，涉及到自动对焦、自动边缘提取、图像合成等ai技术。虽然目前cnc自动测量技术发展很快，但要实现cnc自动测量还有很长的路要走。
3.由于计算机硬件设备的快速发展，机器学习和深度学习技术成为近年来人工智能领域最热门的技术。各行业因人工智能带来的便利而迅速发展，如：人脸识别、机器翻译、智能家居等，如何将深度学习技术应用到cnc自动测量中是亟待解决的问题。
技术实现要素：
4.有鉴于此，本技术提供了一种用于cnc自动测量的模型训练方法和系统。模型训练方法基于cnc切片图像及其对应的标注轮廓信息训练分割模型，实现cnc自动测量。
5.为了解决上述技术问题，本技术采用以下技术方案：
6. 一方面，根据本发明实施例，提供了一种cnc自动测量的模型训练方法，该方法包括：
7. 获取带有标签信息的图像样本，图像样本包括cnc图像，标签信息包括cnc图像上的标注对应的轮廓信息；
8. 基于图像样本训练分割模型。
9. 优选地，基于图像样本训练分割模型包括：
10.基于cnc拼图进行多层卷积和池化操作，最终得到深层语义特征；
11. 基于深度语义特征训练得到的分割模型。
12.优选地，基于cnc碎片图像进行多层卷积和池化操作包括：
13. 在获取深层语义特征之前，还获取了多层浅层语义特征，对多层浅层语义特征进行特征处理；
14.对深层语义特征和处理后的浅层语义特征进行融合处理，得到融合特征；
15. 基于融合特征训练得到分割模型。
16.优选地，在获取深层语义特征之前，还获取了多层浅层语义特征，对多层浅层语义特征进行特征处理包括：
17. 获取第一个浅层语义特征和第二个浅层语义特征；
18. 基于深层语义特征使用插值对第二个浅层语义特征进行上采样得到深层语义特征
图层上的采样特征；
19.将深上采样特征和第二个浅层语义特征按照通道维度拼接并进行卷积得到第二个浅层新特征；
20. 基于第二个浅层新特征直到cnc图像上采样，得到第一个cnc图像特征。
21.优选地，将深层语义特征与处理后的浅层语义特征进行融合，得到融合特征，包括：
22.分别基于第一浅层语义特征和第二浅层语义特征对cnc图像特征进行上采样，得到第二cnc图像特征和第三cnc图像特征；
2 3. 根据第一个cnc图像特征、第二个cnc图像特征、第三个cnc图像特征进行融合处理，得到融合特征；
24.基于融合特征训练得到分割模型，以cnc分片图像为输入，将cnc分片图像上对应标注的轮廓信息作为输出结果。
25.第二方面，根据本发明实施例，提供了一种基于cnc自动测量的模型训练方法得到的分割模型的cnc自动测量方法，包括：
26.获取cnc图片；
2 7. 将cnc图像输入到训练好的分割模型中，得到cnc图像的轮廓信息；
28.根据轮廓信息实现cnc自动测量。
29.第三方面，根据本发明实施例，还提供了一种用于cnc自动测量的模型训练系统，包括：
3 0.获取模块用于获取带有标签信息的图像样本，其中图像样本包括cnc图像，标签信息包括在cnc图像上对应标注的轮廓信息。
3 1. 训练模块，用于训练基于图像样本的分割模型。
32.第四方面，根据本发明实施例，还提供了一种cnc自动测量系统，包括：
3 3.采集模块，用于采集cnc图像；
3 4.分割模块，用于将cnc图像输入到训练好的分割模型中，得到cnc图像的轮廓信息；
3 5.测量模块，用于实现基于轮廓信息的cnc自动测量。
36.在第五方面，本发明实施例还提供了一种终端设备，该终端设备包括：
37.处理器；
38. 内存；程序，该程序存储在存储器中，用于由处理器执行，使终端设备实现cnc自动测量模型训练方法。
39.在第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序：该计算机程序由处理器执行以实现自动cnc测量模型的方法训练方法。
40. 本技术的上述技术方案至少具有以下有益效果之一：
41.根据本技术实施例的用于cnc自动测量的模型训练方法和系统。模型训练方法基于cnc切片图像及其相应标记的轮廓信息进行分割模型训练。在训练过程中进行多层卷积和池化操作获得深层语义特征，并根据深层语义特征训练得到分割模型来改进模型
训练的分割效果；将cnc片图像多次下采样得到的浅层语义特征与最终深度语义特征上采样过程中得到的新特征进行拼接卷积，从而得到最终的cnc图像特征更多的特征可以提高模型的效果训练并进一步提高图像分割的准确性。
图纸说明
42. 图。附图说明图1为本发明实施例提供的cnc自动测量的模型训练方法的整体流程图；
43. 图。图2为本发明实施例提供的cnc自动测量的模型训练方法中模型训练的具体流程图；
44. 图。图3为本发明实施例提供的cnc自动测量的模型训练方法中多层卷积池化操作的具体流程图。
45. 图。图4为本发明实施例提供的cnc自动测量的模型训练方法中处理多层浅层语义特征的具体流程图。
46. 图。图5为本发明实施例提供的cnc自动测量的模型训练方法中上采样深度语义特征的逻辑示意图；
47. 图。图6为本发明实施例提供的cnc自动测量的模型训练方法中分割模型的结构图。
48. 图。图7为本发明实施例提供的cnc自动测量的模型训练方法中融合处理的流程图。
49. 图。图8为本发明实施例提供的cnc自动测量方法的整体流程图。
50. 图9为本发明技术实施例所涉及的产品示例示意图；
51. 图。图10为本技术实施例提供的方法对产品轮廓进行分割定位的效果图；
52. 图。图11是根据本技术实施例的用于cnc自动测量的模型训练系统的框图；
53. 图。图12是根据本技术实施例的cnc自动测量系统的框图。
54. 参考标志：
55.10、采集模块；20、训练模块；100、采集模块；200、分割模块；300、 测量模块。
详细方法
56. 下面结合技术实施例中的附图，对技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是技术实施例的一部分，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
57. 本发明实施例提供了一种cnc自动测量的模型训练方法。模型训练方法基于cnc切片图像和相应标注的轮廓信息进行分割模型训练自动测量设备，在训练过程中进行多层训练。卷积和池化操作得到深层语义特征，并基于深层语义特征进行训练得到分割模型，提高了模型训练的分割效果。
58. 下面将参考具体附图详细描述本技术的各种实施例。
59.在本技术的一个实施例中，提供了一种用于cnc自动测量的模型训练方法。如图所示。1、该方法具体包括以下步骤：
60.s1、 获取带有标签信息的图像样本，图像样本包括cnc图像，标签信息包括cnc图像上的标注对应的轮廓信息。收集各种cnc零件图像，并在cnc图像上手动标记。标记的轮廓信息包括cnc零件的边缘和轮廓。
61.s2、 基于图像样本训练分割模型。
62. 在一个实施例中，如图6所示。2、步骤s2还包括以下步骤：
63.s21、基于cnc碎片图像进行多层卷积和池化操作，最终得到深层语义特征。
64.s22、 基于深度语义特征训练得到分割模型。
65. 也就是说cnc图像的深层语义特征是通过多个卷积层和池化层得到的。其中，卷积层包括bn层和relu激活层。例如：一张尺寸为512*512的cnc图像经过多层卷积和池化后，得到64*64的深层语义特征，对cnc图像进行那些多层卷积和池化操作得到更多 cnc 碎片的图像特征可以提高图像分割的准确性。
66. 进一步的，在步骤s21中，如图3所示，还包括以下步骤：
67.s211、在获取深层语义特征之前也先获取多层浅层语义特征，对多层浅层语义特征进行特征处理；
68.s212、将深层语义特征与浅层语义特征融合，得到融合特征；
69.s213、 基于融合特征训练得到分割模型。
70. 也就是说，在对cnc块图像进行多次下采样操作，即池化操作的过程中，会得到多个浅层语义特征，最终的深层语义特征与多个浅层语义特征结合语义。特征融合处理获得融合特征，融合特征比深层语义特征具有更多的特征信息，提高模型训练的效果，进一步提高图像分割的准确率。
71. 进一步的，如图4和图5所示，步骤s211还包括以下步骤：
72.s2111、 获取第一个浅层语义特征和第二个浅层语义特征。
73. 即本实施例对cnc图像进行3次下采样，分别得到第一浅层语义特征、第二浅层语义特征、深层语义特征。当然，cnc图像的下采样操作可以根据具体情况进行更多次，本发明实施例对此不作限定。
74.s2112、 基于深层语义特征使用插值方法上采样到第二个浅层语义特征，得到深度上采样特征。
75. 即通过插值将深层语义特征的特征尺寸放大到与第二个浅层语义特征相同的尺寸，得到深度上采样特征。
76.s2113、 深度上采样特征和第二个浅层语义特征根据通道维度拼接并进行卷积运算得到第二个浅层新特征。
77. 也就是将步骤s2112得到的深上采样特征和下采样得到的第二个浅层语义特征按照通道维度拼接并连接到一个卷积层，得到第二个浅层语义特征新功能。继续举例，将64*64深度语义特征上采样到第二个浅语义特征对应的128*128大小，即深度上采样特征，将深度上采样特征与第二个浅语义特征拼接执行以获得第二个浅层的新特征。
78.s2114、 基于第二个浅层的新特征，直到cnc图像上采样，得到第一个cnc图像特征。
79. 也就是将第二个128*128大小的浅层新特征不断上采样到256*256的大小，得到第二个浅层上采样特征。第二个浅上采样特征和第一个浅语义特征根据通道维度拼接，连接到一个卷积层，得到第一个浅新特征。
80.进一步对第一个浅层新特征进行上采样操作，得到大小为512*512的第一个浅层上采样特征。第一个浅上采样特征和cnc图像将通道维度拼接并连接到一个卷积层，得到第一个cnc图像特征。
81.在本发明实施例中，将cnc片图像多次下采样得到的浅层语义特征与最终深层语义特征上采样得到的新特征进行拼接卷积，以便最终Get cnc image features获得更多的特征。
82. 在一个实施例中，如图8所示。7、步骤s212还包括以下步骤：
83.s2121、分别根据第一浅语义特征和第二浅语义特征对cnc图像进行上采样，得到第二个cnc图像特征和第三个cnc图像特征.
84. 也就是说，本步骤的方法与步骤s2112至步骤s2114相同，只是步骤s2112至步骤s2114是基于深度语义特征的上采样，本步骤基于第一个浅层语义特征分别与第二个浅层语义特征分别进行上采样，分别得到第二个cnc图像和第三个cnc图像特征。
85.s2122、 根据第一cnc图像特征、第二cnc图像特征、第三cnc图像特征进行融合处理，得到融合特征。
86. 即对步骤s2112至步骤s2114得到的第一cnc图像特征、第二cnc图像特征和第三cnc图像特征进行融合，得到融合特征。
87.s2123、 基于融合特征训练得到分割模型，以cnc碎片图像为输入，以cnc碎片图像上相应标注的轮廓信息作为输出结果。
88. 在一个实施例中，如图8所示。6，图。图6为本发明实施例中分割模型的结构图。本发明实施例的下采样过程中的卷积操作包括使用3*3的卷积核，在特征周围填充0，使得特征经过卷积操作后特征的大小保持不变。本发明实施例中的池化操作优选的最大池化层为2*2，步长为2，使得操作后的特征大小减少2倍。
89. 在一个实施例中，模型的训练过程还包括使用损失函数使模型训练更好。此外，结合iou（intersection over union）和bce的损失函数用于获得更准确的边缘特征提取的分割模型。其中，iou函数是两个区域的重叠部分除以两个区域的集合部分的结果；bce 函数是：
[0090] [0091]
因为只有正例和负例，而且两者的概率之和为1，那么只需要预测一个概率，可以简化为：
[0092]
损失(y
′
一世
, Y
一世
)=
－
瓦
一世
[y
一世
*逻辑
′
一世
+(1
－
是
一世
)*日志(1
－
是
′
一世
)]
[0093][0094]
为了对深度学习端的预测结果进行评价，衡量分割模型的质量，提出新的评价标准，中间位置对应像素的偏差。具体如下： 一般cnc测量过程中主要的预测项目是直线和圆，但分割模型的预测结果往往存在偏差。两者之间的位置偏差是逐个像素计算的。当偏差为零像素时，预测位置与实际位置完全重合。当然，这种理想状态基本不存在。因此，当预测偏差低于预设的阈值比时，分割模型可以达到良好的分割效果。
[0095]
本发明还提供了一种基于cnc自动测量模型训练方法训练的分割模型的cnc自动测量方法，如图1所示。8、包括以下步骤：
[0096]
s001、 获取cnc图片；
[0097]
s002、 将cnc图像输入到训练好的分割模型中，得到cnc图像的轮廓信息；
[0098]
s003、 实现基于轮廓信息的cnc自动测量。
[0099]
也就是说，利用上面实施例中训练的模型对cnc图像进行分割自动测量设备，即把cnc图像输入到分割模型中，输出cnc图像的轮廓信息，即上的边缘和轮廓线cnc图像等，实现cnc自动测量。
[0100]
本发明实施例提供的cnc自动测量的模型训练方法和本发明实施例提供的cnc自动测量方法得到的分割模型用于对产品进行自动测量，如图1所示。9、分别用圆弧边和直边提取两个产品，得到如图10所示的分割定位效果。利用本发明实施例中预测结果的评分和本发明实施例提供的方法预测位置与真实位置的像素偏差，直线边缘完全重合的像素可以达到 84.7%，不到三个。像素比例偶为91. 6%。由于弯曲边缘的复杂性，重叠像素的比例为29.3%，但小于三个像素的比例也达到87.2%。
[0101]
语义分割是像素级别的分类任务，相当于一个像素代表一个样本，所以不需要庞大的样本数据。同时，产品背景和前景比较简单，比较一致。经过多次实验，已经通过数十张图片验证。数据可以达到很好的效果。另一方面，使用迁移学习技术，先预训练一个更好的模型，然后对具体的任务进行微调，在减少时间和人力成本的同时取得了不错的效果。同时，人工贴标被自动标签生成取代，大大提高了工作效率。然而，边缘提取的语义分割的主要问题是当干扰因素很大时，可能会错误地捕获一些边缘。
[0102]
基于上述技术问题，本发明实施例采用传统算法对分割模型得到的轮廓信息进行干预，即采用传统算法进行亚像素计算，进一步修改轮廓信息，提高定位精度，并进一步提高cnc自动测量的精度；其中，传统算法至少包括阈值分割、ransac（随机样本一致性，随机采样一致性算法）、多项式插值获得子像素。
[0103]
本发明实施例还提供了一种用于cnc自动测量的模型训练系统，如图1所示。如图11所示，包括获取模块10和训练模块20，其中获取模块10用于获取带有标签信息的图像样本，其中图像样本包括一张cnc图像，标签信息包括对应标注的轮廓信息。 cnc图片；训练模块20用于训练基于图像样本的分割模型。
[0104]
进一步地，训练模块包括卷积池化运算单元和训练单元。卷积池化操作单元用于基于cnc切片图像进行多层卷积和池化操作，最终获得深层语义特征；训练单元是基于深度语义特征训练得到的分割模块。
[0105]
进一步地，卷积池化运算单元包括特征处理子单元、特征融合子单元和训练子单元；特征处理子单元用于在获取深层语义特征之前获取多层浅层语义特征，并比较多个对浅层语义特征进行特征处理；特征融合子单元用于对深层语义特征和处理后的浅层语义特征进行融合处理，得到融合特征；训练子单元用于在融合的基础上进行融合处理，通过特征训练得到分割模型。
[0106]
进一步地，特征处理子单元包括第一上采样子单元和拼接子单元，上采样子单元用于将第二浅层语义特征上采样为第二浅层语义特征。对深层语义特征进行分析，得到深层上层语义特征。采样功能；拼接子单元用于根据通道维度拼接深上采样特征和第二浅语义特征，并进行卷积运算得到第二浅新特征；使用第一个上采样子单元基于第二个浅层新特征，直到对cnc图像进行上采样，得到第一个cnc图像特征。
[0107]
进一步的，特征融合子单元包括第二上采样子单元和融合处理子单元，第二上采样子单元用于分别基于第一浅层语义特征和第二浅层语义特征进行上采样直至cnc图像，第二cnc得到图像特征和第三个cnc图像特征；融合处理子单元用于根据第一cnc图像特征、第二cnc图像特征和第三cnc图像特征对特征进行融合处理，得到融合特征。
[0108]
本发明还提供了一种cnc自动测量系统，如图1所示。参见图12，包括获取模块100、分割模块200和测量模块300，获取模块100用于获取cnc件图像；分割模块200用于将cnc图像输入到训练好的分割模型中，得到cnc图像的轮廓信息。测量模块300用于根据轮廓信息实现自动cnc测量。
[0109]
本发明实施例还提供了一种终端设备，该终端设备包括：处理器；一段记忆；程序，该程序存储在存储器中，用于由处理器执行，使终端设备实现cnc自动测量的模型训练方法。
[0110]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序：该计算机程序由处理器执行，以实现cnc自动测量的模型训练方法。
[0111]
需要说明的是，在本专利的实施例和说明书中，第一、第二等关系术语仅用于区分一个实体或操作与另一个实体或操作，并不一定要求或暗示存在任何此类实际关系或这些实体或操作之间的顺序。此外，术语“包括”、“包括”或其任何其他变体旨在涵盖非排他性的包括，因此包括一系列要素的过程、方法、物品或装置不仅包括那些要素，而且还包括那些未明确列出的其他要素，或还包括此过程、方法、物品或设备固有的要素。如果没有更多限制，则由句子“包括一个”定义的元素
[0112]
以上是该技术的优选实施例。需要指出的是，对于本领域普通技术人员来说，在不脱离本技术原理的情况下，可以进行一些改进和修改。这些改进和修改也应视为本技术的保护范围。
