Research on Automatic Extraction Method of Geometric Features of Concrete 3D Printing Based on Machine Vision
-
摘要: 近年来，随着混凝土3D打印技术的不断发展，打印成品的质量受到越来越多的关注。打印成品的几何特征已成为评估打印质量的重要指标。针对当前3D打印混凝土几何特征提取中存在的诸如流程复杂、精度有限及缺乏评价指标等问题，本文设计了基于机器视觉的混凝土3D打印几何特征自动提取方法。首先，采用摄像头阵列部署方法获取打印成品的原始图像，并对原图像正畸以提高图像质量；其次，通过语义分割模型U-Net提取打印成品的几何特征，并对得到的结果进行优化；最后，通过量化的指标值，对其进行了可视化并评价打印结果。实验证明，本文提出的几何特征自动提取方法具有速度快、精度高等显著优势；此外，系统化的打印评价指标可为混凝土3D打印质量评估提供借鉴参考。Abstract: In recent years, thanks to the continuous development of concrete 3D printing technology, the quality of printed products has attracted more and more attention. The geometric characteristics of printed products have become an important index to evaluate the printing quality. Aiming at solving a series of problems existing in the current 3D printing concrete geometric feature extraction methods e.g. complex process, limited precision and lack of evaluation indicators, this paper designs an automatic extraction method of 3D printing concrete geometric features based on machine vision. Firstly, the camera array deployment method is used to obtain the original image which is orthodontic to improve the image quality. Then, the geometric features of printed products are extracted by semantic segmentation model U-Net, after which the results are optimized. Finally, through the quantitative index value, it is visualized and the print result is evaluated. Experiments have shown that the geometric feature automatic extraction method proposed in this paper has significant advantages such as fast speed and high accuracy. In addition, systematic evaluation indicators can provide reference for the quality evaluation of concrete 3D printing.
-
引言
随着第四次工业革命的兴起，3D打印作为一项新型的增材制造技术被广泛应用于多个领域。混凝土3D打印从最开始的简单模型打印演化为支持打印大体积且结构复杂的无模板结构[1]。但在建筑工程领域，混凝土3D打印技术仍处于起步阶段[2]，传统的几何特征提取方法效率低下且设备昂贵复杂。而混凝土3D打印出现如开裂、垮塌、打印不均匀等问题时，有必要对其进行检测与记录，研究其成因。此外，对于3D打印的混凝土成品，也需要通过量化指标对成品质量进行评价。基于机器视觉的混凝土3D打印几何特征提取技术，可以有效记录并评估打印成品的质量，为混凝土3D打印提供一套快速且便捷的几何特征提取方法。
基于机器视觉的几何特征自动提取主要涉及摄像头阵列、图像预处理和深度学习三个方面。摄像头阵列主要通过部署获取完整的原始图像信息，在目前的3D打印混凝土实验中，摄像头阵列检测通常作为研究的附属过程；图像预处理的工作要点在于尽量保留图像中的有效信息，同时尽可能剔除噪音信息[3, 4]。其中，对噪音信息的剔除十分重要[5-8]。由不同噪音信息提取出的错误轮廓与实际物体轮廓混合，会组成不属于原始图像中任何物体的轮廓信息[9]，影响识别效果；深度学习是机器学习的分支之一，以人工神经网络为基础框架，通过对数据进行不断的强化学习来训练模型[10]。目前，有深度神经网络、递归神经网络和卷积神经网络等多种神经网络[11, 12]。卷积神经网络是其中最具代表性的一种深度学习模型。而U-Net模型就是由卷积神经网络发展而来的一种分割模型。其凭借着小数据集训练效果好、细节处理优秀及算法鲁棒性好的优点，被广泛应用于图像细节的检测识别工作。
基于上述观点，本文设计了基于机器视觉的混凝土3D打印几何特征自动提取方法。在该方法中，首先部署摄像头阵列采集原始图像并进行正畸修正；其次通过U-Net模型自动提取成品几何特征，完成了可视化；最后，基于实验数据设计质量评价指标并优化了质量评价方案。
1. 图像几何特征提取方法
1.1 图像预处理
摄像头镜头由多组透镜组成，图像在经过镜头焦平面上不同的区域时，会出现不同程度的放大。不同步的缩放导致最终形成的画面出现扭曲变形，表现为摄像头画面的畸变，如图 1所示。
相机标定实际上就是将相机坐标系上的点X通过变换，转换为像坐标系上的点x的过程。将现实坐标系上的点转换成像平面坐标系的点，如公式（1）所示：
$ \left(\begin{array}{l} f X \\ f Y \\ Z \end{array}\right)=\left[\begin{array}{lllll} f & & & 0 \\ & f & & 0 \\ & & 1 & 0 \end{array}\right]\left(\begin{array}{c} X \\ Y \\ Z \\ 1 \end{array}\right) $
(1) 此时，像平面坐标系和图像坐标系还不属于同一坐标系，因此还需要加入偏移量I，变换如公式（2）所示：
$ \left(\begin{array}{c} f X+Z I_x \\ f Y+Z I_y \\ Z \end{array}\right)=\left[\begin{array}{ccc} f & & I_x \\ & f & I_y \\ & & 1 \end{array}\right] \left[ \begin{matrix} 1 & {} & {} & 0 \\ {} & 1 & {} & 0 \\ {} & {} & 1 & 0 \\ \end{matrix} \right] \left(\begin{array}{c} X \\ Y \\ Z \\ 1 \end{array}\right) $
(2) 最后得到相机内参K，如公式（3）所示：
$ K=\left[\begin{array}{lll} f & & I_x \\ & f & I_y \\ & & 1 \end{array}\right] $
(3) 摄像头标定借助Matlab，使用张正友相机标定法（也称作棋盘格标定法）。首先，打印一张完整的棋盘格板，黑白块边长均为25 mm；其次，手持棋盘格变换角度拍摄标定图，使用Matlab的相机标定(cameraCalibrator)功能可直接对图像进行处理，在删除误差较大的图片后得到相机参数；最后，使用cv2库中的remap功能对原图像像素进行重新排布，即可对相机畸变进行校正。整体流程如图 2（a）~（f）所示。通过正畸，可以有效避免相机畸变对后续实验检测的影响，以提高几何特征提取的精度。
1.2 U-Net语义分割模型
常见语义分割模型的性能对比如表 1所示。由于实验得到的训练集数据有限且对提取细节的要求较高。因此，本文采用所需数据量更少、细节还原更优秀的U-Net模型，作为特征提取模型的基础。
表 1 常见分割模型的对比算法 全卷积神经网络 SegNet网络 U-Net网络 分割方法 不使用图像块，进行像素级的分类 基于FCN，编码器与解码器对称结构 基于FCN，在收缩网络后继续补充了类似的网络结构，类似U形 输入图像 任意尺寸 任意尺寸 任意尺寸 训练数据量 小数据集训练效果不足 小数据集训练效果不足 小数据集训练效果好 训练时间 计算效率高，时间短 计算效率有限，时间长 计算效率高，时间长 占用显存小 占用显存极小 占用大量显存 提取效果 可实现基于全局的局部预测 相较FCN大尺寸目标更精确 相较FCN输出分辨率更高 对图像细节不够敏感 小尺寸目标精度有限 可有效还原图像细节 U-Net是一个常见的语义分割模型，该模型由主干特征提取网络、加强特征提取网络和预测网络三个部分组成[13]，如图 3所示。
模型左半部分是主干特征提取网络，其基本作用是进行多个主干特征层的获取。在本模型中，对主干部分主要进行卷积和最大池化，完成多次累加。这一过程中，通过5次逐步提取，获得5个有效特征层。模型的右半部分是加强特征提取网络，其融合主干特征提取网络获得的5个有效特征层，得到一个集合5个初步特征层的最终的有效特征层。最后是预测网络，其通过最终有效特征层，对各特征点即各像素点进行分类，获取预测结果，进行通道调整并得到最终结果，整体过程如图 4所示。
1.3 几何特征提取的量化指标
3D打印混凝土通过挤出材料的方式来构建物理结构，相较于其它材料的3D打印，其层间分界线更加明显。因此，要评价3D打印混凝土成品件的打印效果、分析其几何特征，就需要对打印件的分层结构进行检测分析。3D打印混凝土成品件的分层结构可以用层数、层高以及层间情况来体现。层数是3D打印混凝土成品件最基础的几何特征。通过层数乘以固定层高，就可以得到成品件的大致高度；层高理论上是固定值，但实际打印品的层高往往会出现波动。因此，分析理论层高与实际层高的误差情况也是检测的重要指标；由于材料的硬化、稠度及出料情况等因素的影响，打印过程中可能出现中途断料、硬化开裂及结构失稳等意外情况。因此，将层间打印的连续性也纳入评价指标。
为了便于检测，并更为直观地表现检测后的结果，将3D打印混凝土成品件的层间分界用红线标出。通过红线的数目计算层数，测算红线的间距得到层高，通过红线的走势判断是否出现断料、开裂及垮塌等情况，以此实现几何特征提取指标的可视化。如图 5所示，对成品件的几何特征提取指标进行了可视化，随后通过人工统计的方法计算最终的指标值。
2. 混凝土3D打印图像采集
2.1 图像摄像设备及参数预处理
2.1.1 摄像头选型
实验中主要比对了海康威视旗下的两款摄像头，两者主要参数如表 2所示。广角摄像机虽然图像畸变较大，但其拍摄距离、视角及角度调整方式都更符合后续实验的需要。因此，最终选用广角摄像头进行后续实验。
表 2 摄像头主要参数对比摄像头种类 网络摄像机 广角摄像机 像素 400万 400万 焦距 4 mm 1.68 mm 最大视角 120° 180° 角度调整 需拆卸外壳 可直接调整 2.1.2 摄像头参数
由于不同的打印器械及打印模型的大小、工作路径及工作场地均有差别，因此摄像头参数的设置需要就情况具体分析。在后续不对其参数做过多硬性规定，实验的摄像头参数设置如表 3所示，各参数基本要求如下：
表 3 摄像头参数设置参数 具体设置 高度 垂直高度：35 cm 距离 距打印件中心：25~40 cm 视角 使打印件位于画面中央，尽量保持平视 录像 全程录像，格式AVI 抓拍 2~3层一张，格式JPEG （1）高度。摄像头设置高度时，应保证最终打印成品顶部低于图像画面3/4处，底部高于图像画面1/4处，避免画面修正时缺失数据；
（2）距离。设置摄像头距离时，应注意不能干扰正常的打印路径。因此，在保证打印机图像合适的情况下，可以适当提高摄像头与打印区之间的距离；
（3）视角。摄像头在拍摄时应确保打印件位于图像中央，尽量使摄像头视角为平视。确定距离后，可以通过旋转摄像头或抬升支架调整视角；
（4）抓拍与录像。主要采用全程录像、手动抓拍的数据采集模式。
2.2 摄像头布置与图像采集
2.2.1 摄像头阵列排布
实验中主要通过摄像头数量与排布形状来设置摄像头阵列，对于不同的情况，应采用适配的摄像头阵列。摄像头阵列设置的原则包括以下三个方面：
（1）确保不会干扰正常的打印路径；
（2）确保能够360°无死角拍摄打印件，保证拍摄信息的完整准确；
（3）在确保信息完整准确的基础上，应适当减少摄像头的数量，避免过多重复的数据导致资源浪费。
以上为摄像头阵列选取的主要原则。在实验中，应视具体情况进行具体分析，确保实验检测的效果。在后续实验中，主要采取两种摄像头阵列，如图 6所示。就实验检测效果而言，矩阵型阵列的检测效果更好，记录的信息也更为准确；但就检测本身而言，三角阵列已经能够满足实验需要。考虑到打印的工作路径，后续打印大型构件时使用三角阵列，其余构件凡满足条件的均使用矩形阵列。
2.2.2 图像采集流程
实验开始前，应调试摄像头，检测其性能。连接摄像头、交换机和电脑，运行摄像头工作平台。检查摄像头视角，测试录像与抓拍功能。开始打印，同时进行录像与抓拍工作。抓拍间隔时间由打印速度决定，一般每打印2~3层抓拍一次。若打印途中出现如断料、开裂等特殊状况时也可进行抓拍。实验全程应保证录像机位有人进行监察，避免出现录像错误和影响抓拍工作的进行。实际采集流程如图 7所示。
3. 混凝土3D打印几何特征提取实验与分析
3.1 数据集构建
3.1.1 训练集
本实验中的混凝土3D打印品如图 8所示。获取原始图像后，采用labelimg对原图的几何特征标签进行标注。训练集原图是经过分割的拍摄图像，标签是经过标记处理的灰度图。其中，原图与标签的图片高宽均保持一致，原图为JPG格式，标签是PNG格式。选用该打印件制作训练集数据主要考虑了以下三个方面：
（1）可用于制作训练集的混凝土3D打印成品较少；
（2）混凝土3D打印得到的成品件质量参差不齐；
（3）此成品件层数较多，保证了训练集的数据量。
综合上述三个因素，使用该打印成品件制作之后的训练集。首先，训练语义分割模型需要注意：训练前仔细检查格式是否满足要求，该库要求数据集格式为VOC格式，需要准备好的内容有输入图片和标签；损失值(LOSS)的大小仅用于判断其是否收敛，即验证集损失是否在不断下降。若损失值多次迭代后不发生变化，则表示模型损失值在下降。其次，主函数中的训练前置参数，说明均注释在程序中，运行程序前需参考进行修改。最后，有关训练过程中参数的设定，在本训练集中，训练分为冻结阶段和解冻阶段两部分。冻结训练需要的显存较小，通过先进行冻结阶段再进行解冻阶段的方式可以大幅降低运算量。若设备显卡性能不足，可设置只进行冻结训练。设置完成参数后，对训练集进行训练，保持训练完成的数据集供识别算法使用。
3.1.2 测试集
在混凝土3D打印试验件上开展测试实验，所有的试验件均由华中科技大学建筑3D打印实验室的ABB机械臂或桌面打印机完成，打印材料由中国建筑技术中心提供。打印模型为下端开口、高约50 cm的月壶樽模型。采用上文中的图像采集系统进行抓拍，随后导入程序进行几何特征提取，如图 9所示。该3D打印成品件打印效果好，层间结构均匀，检测精度需要进一步提升。下节将展示更多的检测实例。
3.2 几何特征提取结果
3.2.1 几何特征提取实例
训练完成后，程序处于可使用状态，将图片导入正畸程序，得到校正图像，如图 10（a）~（b）所示。修改权值文件地址及相应参数，即可开展检测实验，在识别无误后，输入图片地址就会输出检测结果。给出使用本检测图像识别算法进行图像检测的六个实例，进一步检测本算法的完成度，如图 11所示。
检测实验一中采用水泥、砂、水及外加剂等自制备材料，使用ABB机械臂打印，可以看到有部分层被误判成了层间间隙，其中以中下层打印较为粗糙的部分最明显；检测实验二中采用了杭州冠力科技提供的3D打印混凝土混合干料打印得到的螺旋蛋壳模型，使用桌面打印机进行打印，层间结构清晰且打印效果好，可以看到检测图像十分清晰，层间划线良好且无信息缺失；检测实验三为使用中国建筑技术中心提供的3D打印混凝土混合干料打印得到的螺旋蛋壳模型同款，模型的下半部分相较检测实验二更粗糙，得出的检测结果中，下半部分有信息缺失；检测实验四为使用碱激发材料打印得到的简单成品件，使用桌面打印机进行打印，结构简单但较为粗糙，由检测图像可知，虽然打印的成品粗糙，但结构简单且体积小，得到的检测图像效果也较好；检测实验五为使用中国建筑技术中心供的3D打印混凝土混合干料打印得到的圆顶结构，使用桌面打印机进行打印，内置亚克力板圆顶支撑，打印效果良好且层间区分明显，由于成品精细且体积小，检测结果十分清晰；检测实验六与检测实验五相同，但通过打印的方式形成支撑，检测结果与检测实验五一致，图像十分清晰。六个实例的识别情况如图 12所示。
3.2.2 几何特征提取评价指标
整合各实验的结果，给出了检测结果的评价指标体系，如表 4所示。表中的平均层高是设定路径中的层高；总层数是设定路径的层数；合格层数是各角度检测图像中划线完整的层数平均值；层高标准差是实际成品各层高的标准差。合格率由合格层数/总层数得到，打印评分表示对本次打印效果的评价。为了保证合理性，打印评分由合格率×100，再减去层高标准差得到。本评价体系以打印层的完成度为主，打印的均匀程度为辅，得到了一个量化的评价指标。
表 4 检测结果对比平均层高
（mm）总层数 合格层数 合格率 层高标准差
（mm）打印评分 检测一 10 43 20 46.50% 2.1 44.4 检测二 10 26 23 88.40% 0.8 87.6 检测三 10 26 19 73.08% 1.2 71.9 检测四 10 9 8 88.89% 4.3 84.6 检测五 10 13 12 92.31% 0.5 91.8 检测六 10 13 12 92.31% 0.5 91.8 该指标的综合性有限，对于检测一与检测四而言，两者的打印质量相差有限。前者得分为44.4，后者则为84.6，这样的得分差显然不合理。同时，由上述检测实验可知，在使用本检测图像识别算法时，打印成品件越精良、图像信息越少（即层数越少），识别之后的效果越好。因此，对于体积过大的构件可以尝试分割图像，以减少单张图片的信息量，提高检测的精度。设置论证提高精度方法的检测实验。本实验打印成品使用水泥、砂、水及外加剂等自制备材料，使用ABB机械臂打印，整体体积较大。在导入程序进行检测识别后，识别图像不完整。将原图片截取部分，分别导入代码得到检测图像。对比发现，检测精度得到明显提高且各层间划线趋于完整，如图 13所示。重新对打印结果进行评价，具体评价结果如表 5所示，评价得到了明显修正。综上所述，本检测图像识别算法在检测较为粗糙的成品件时，由于特征点较多，会出现误判的情况。通过切割图像、降低信息量的方法，可以有效提高检测精度和评价指标值可信度。
表 5 修正前后对比平均层高
（mm）总层数 合格层数 合格率 层高标准差
（mm）打印评分 修正前 10 73 35 47.95% 2.8 45.2 修正后 10 73 58 79.45% 2.8 76.7 4. 研究结论与展望
本文提出了针对混凝土3D打印的几何特征自动提取方法，可以快速获取打印样品的高质量图像信息，对打印样品的几何特征进行快速提取并可视化几何特征。同时，提出了可用于衡量混凝土打印成品质量的评价指标。研究结论与展望概况为以下三个方面：
（1）摄像头阵列部署。选取摄像头完成了摄像头阵列的设置，并成功完成了摄像头标定与正畸。该摄像头系统可以对图像数据进行快速采集与修正。目前的阵列排布仅限外侧，内侧无法进行检测识别。且实验中发现标定中存在一定误差，需要进一步控制；
（2）几何特征自动提取算法。采用基于U-Net的语义分割模型实现了混凝土3D打印成品件几何特征的自动提取。但尚未实现对于层数、层高及层间结构的量化计算，未来将开展进一步实验；
（3）打印质量评价指标。使用现有实验数据设计了一套针对本算法的打印评价体系。通过本评价体系，可以对不同的混凝土3D打印成品件进行量化评价。不足之处在于目前的评价体系缺乏与设计模型的比对，忽略了现实与虚拟设计之间的误差。未来可借助三维重构等技术，与设计模型进行误差分析，将误差比较纳入评价体系中。
-
表 1 常见分割模型的对比
算法 全卷积神经网络 SegNet网络 U-Net网络 分割方法 不使用图像块，进行像素级的分类 基于FCN，编码器与解码器对称结构 基于FCN，在收缩网络后继续补充了类似的网络结构，类似U形 输入图像 任意尺寸 任意尺寸 任意尺寸 训练数据量 小数据集训练效果不足 小数据集训练效果不足 小数据集训练效果好 训练时间 计算效率高，时间短 计算效率有限，时间长 计算效率高，时间长 占用显存小 占用显存极小 占用大量显存 提取效果 可实现基于全局的局部预测 相较FCN大尺寸目标更精确 相较FCN输出分辨率更高 对图像细节不够敏感 小尺寸目标精度有限 可有效还原图像细节 
下载: 导出CSV
表 2 摄像头主要参数对比
摄像头种类 网络摄像机 广角摄像机 像素 400万 400万 焦距 4 mm 1.68 mm 最大视角 120° 180° 角度调整 需拆卸外壳 可直接调整
下载: 导出CSV
表 3 摄像头参数设置
参数 具体设置 高度 垂直高度：35 cm 距离 距打印件中心：25~40 cm 视角 使打印件位于画面中央，尽量保持平视 录像 全程录像，格式AVI 抓拍 2~3层一张，格式JPEG
下载: 导出CSV
表 4 检测结果对比
平均层高
（mm）总层数 合格层数 合格率 层高标准差
（mm）打印评分 检测一 10 43 20 46.50% 2.1 44.4 检测二 10 26 23 88.40% 0.8 87.6 检测三 10 26 19 73.08% 1.2 71.9 检测四 10 9 8 88.89% 4.3 84.6 检测五 10 13 12 92.31% 0.5 91.8 检测六 10 13 12 92.31% 0.5 91.8
下载: 导出CSV
表 5 修正前后对比
平均层高
（mm）总层数 合格层数 合格率 层高标准差
（mm）打印评分 修正前 10 73 35 47.95% 2.8 45.2 修正后 10 73 58 79.45% 2.8 76.7
下载: 导出CSV
-
[1] 汤寄予, 张亚可, 高丹盈, 等. 3D打印混凝土研究现状及前景展望[J]. 河南大学学报(自然科学版), 2022, 52(06): 734-744. https://www.cnki.com.cn/Article/CJFDTOTAL-HDZR202206011.htm [2] 余莉莉, 肖正茂, 祝雯. 混凝土3D打印技术研究进展与发展趋势[J]. 广州建筑, 2021, 49(04): 47-51. https://www.cnki.com.cn/Article/CJFDTOTAL-GZJZ202104010.htm [3] 王大志, 黄劼, 徐树英. 采用灰度直方图的孔型识别和二值化阈值自动匹配[J]. 兵工自动化, 2005(02): 48-49+52. DOI: 10.3969/j.issn.1006-1576.2005.02.023 [4] 张雅兰. 图像的二值化处理[J]. 广西工学院学报, 2002(01): 32-33+55. DOI: 10.3969/j.issn.1004-6410.2002.01.009 [5] Gibbons G J, Williams R, Purnell P, et al. 3D Printing of cement composites[J]. Advances in Applied Ceramics, 2010, 109(5): 287-290. DOI: 10.1179/174367509X12472364600878
[6] Fereshtenejad S, Song J J. Fundamental study on applicability of powder-based 3D printer for physical modeling in rock mechanics[J]. Rock Mechanics and Rock Engineering, 2016, 49: 2065-2074. DOI: 10.1007/s00603-015-0904-x
[7] 张友爱. 计算机图像处理技术在现实生活中的应用[J]. 电子元器件与信息技术, 2023, 7(02): 73-76. https://www.cnki.com.cn/Article/CJFDTOTAL-DYXU202302017.htm [8] 马书群. 图像处理技术在计算机网页设计中的应用[J]. 数字通信世界, 2020(05). https://www.cnki.com.cn/Article/CJFDTOTAL-SQZJ202402018.htm [9] 宋相法, 曹志伟, 郑逢斌, 等. 基于随机子空间核极端学习机集成的高光谱遥感图像分类[J]. 计算机科学, 2016, 43(03): 301-304. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA201603058.htm [10] 鞠杨, 谢和平, 郑泽民, 等. 基于3D打印技术的岩体复杂结构与应力场的可视化方法[J]. 科学通报, 2014, 59(32): 3109-3119. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTB201432002.htm [11] 兰红波, 李涤尘, 卢秉恒. 微纳尺度3D打印[J]. 中国科学: 技术科学, 2015, 45(09): 919-940. https://www.cnki.com.cn/Article/CJFDTOTAL-JEXK201509002.htm [12] Jiang C, Zhao G F. A preliminary study of 3D printing on rock mechanics[J]. Rock Mechanics and Rock Engineering, 2015, 48: 1041-1050. DOI: 10.1007/s00603-014-0612-y
[13] 汤富平, 吴臻涵, 蔡东燕, 等. 基于UNet的差值影像变化检测试验与分析[J]. 地理空间信息, 2022, 20(11): 25-28. https://www.cnki.com.cn/Article/CJFDTOTAL-DXKJ202211007.htm
计量
- 文章访问数: 1891
- HTML全文浏览量: 429
- PDF下载量: 40
