科技新进展：基于机器视觉与人工智能技术的智慧计量系统研究及其在钢铁企业的应用

一、研究的背景与问题

随着柳钢产业规模的扩大，多元产业的快速发展，多基地物资转运模式的增加，行业转型的不断推进，对物资计量的要求与需求越来越大，而计量工作又面临着管理、人力资源、效率三方面的巨大压力，传统以司磅员现场作业的计量模式不仅耗费人力，增加安全隐患，存在人为操作风险，痛点明显，不再适应柳钢集团的高速发展。

目前国内钢铁行业已经公开的应用较多的解决方案中，汽车磅采用司机操作计量终端或者采用移动终端自助计量，解决了人力资源优化、效率提升的问题。过程风险监控仍以人为主，计量过程仍需要人参与，数据深度应用仍有欠缺。

二、解决问题的技术思路与方案

1、总体思路

本项目选择钢材秤、汽车秤、轨道衡三个典型场景展开深入研究；重点突破视频目标检测、人工智能标号识别、行为识别和场景感知等核心技术；以最新的AI模型寻求钢铁等大型企业的计量应用融合，在不显著增加硬件成本的前提下努力提高计量效率和管理水平。

2、技术方案

项目依托钢铁集团计量部门主流业务，选取钢卷热轧生产线标号识别、汽车衡自动计量环境监控与违规行为识别、轨道衡自动称量与物料识别等场景展开研究。所采用的技术方案和工作内容包括：

（1）基于场景文本检测技术的端对端钢卷标号检测与识别以及自动称重

通过现有监控数据，实现自动捕获产线上生产的钢卷标号，完成钢卷全自动称重。具体通过获取监控相机视频流，提取其中的图像帧再进行处理算法判断有无目标钢卷出现。若有，则连续采集多张图像，并采用深度学习算法进行自动识别标号，对连续多张图像识别结果经过投票后，得出概率最大的标号为最终结果，并匹配串口稳定重量值，最终存入数据库，以实现钢材自动计量功能。

考虑到工厂背景，标号识别的流程可分为四个部分：图像帧提取、钢卷定位及中心提取、标号区域定位及圆周方位调整、标号识别、投票机制。

图1技术方案流程图

①钢卷定位及中心提取。针对钢卷背景复杂的情况，对比选取了一种定位钢卷、提取圆周中心的方法。首先，采用三帧差分法与图像处理算法模板匹配来进行图像采集与钢卷定位，通过实验可知，三帧差分法对运动物体较敏感，由于工厂环境复杂，选择了模板匹配算法确保采集钢卷的准确率。接着，利用钢卷呈圆环形的特性，通过霍夫圆检测出钢卷圆心。

图2钢卷定位及中心提取流程

②标号区域定位及圆周方位调整。由于钢卷标号位置不定给识别带来的困难，本方案使用改进U-Net模型对处于钢卷不同位置上的标号进行字符区域分割，接着对网络输出结果进行形态学操作膨胀，找到文本区域的中心，与霍夫圆检测找出的钢卷圆心相连确定旋转角度，最后旋转钢卷图像，将文本区域调整至图像上方。调整字符区域圆周方位以后，成功避免了字符颠倒对后续识别造成影响，降低了识别难度。

图3 标号区域定位及圆周方位调整流程

本系统提出改进U-Net模型，由于传统U-Net网络结构左侧主干特征提取网络卷积层较少，深度不够，故将左侧主干特征提取网络更换为残差网络，以提取更丰富的特征。同时，受SFNet启发，将U-Net网络连接高低级特征的方式由简单的拼接修改为经流对齐模块（Flow Alignment Module，FAM）进行特征融合，使得深层次的语义信息有效传递至浅层。网络结构如下：

图4 基于U-Net的改进网络结构

为了有效比对出提出结构的效率，将U-Net网络与基于U-Net的改进网络两种模型在同一数据集的测试效果。实验证明了将U-Net特征提取网络更换为ResNet50、将相邻层级特征融合由简单的拼接更改为流对齐模块融合的有效性，改进网络充分发挥了U-Net在小样本分割领域的优点，在钢卷标号字符分割上有优秀的表现。

图5 旋转角度计算说明图

③标号识别。针对弯曲变超长钢卷标号检测不完全、标号周围噪声较多影响识别的难题，提出融合全局注意力、自校准卷积的改进Mask TextSpotter V3模型。改进模型在特征提取网络融入全局注意力以增强提取长距离特征的能力，将识别分支卷积改为自校准卷积，降低噪声对识别的影响，最后根据钢卷标号是以钢卷中心为圆心、顺时针阅读的顺序，将原模型从左至右排列识别结果改为顺时针排列字符顺序。

图6 基于Mask TextSpotter V3的改进网络结构

实验证明原模型与改进模型在清晰图像上的表现相同，评价指标数值相等，均有较高的精准率和召回率。同时新增CER(Character Error Rate，字符错误率）这一评价指标了改进网络对于模糊图像识别的准确率高，可以很好地抵抗图像中的一些干扰，鲁棒性强。

（2）汽车衡自动计量环境监控与违规行为识别

当前汽车衡依靠人力记录车辆的各种信息，人工监管车辆过磅过程，人工判定车辆的各种作弊行为，然而这种方式耗时费力、易出现营私舞弊现象。本项目基于机器视觉的方法设计一套智能识别系统，能对称重过程中的各种不规范行为如车辆压磅，磅上人员停留，车内人员停留等进行实时监测，对车辆本身的信息如车牌号、车内物资类别、车辆是否套牌等进行智能识别。实现汽车衡全自动计量过程。

系统工作流程如图7所示，该系统能实时监控汽车从上磅到下磅的整个过程，并返回所需称量状态。当汽车在磅上稳定且符合过磅要求时，系统返回相关信号，包括：车辆有无停止稳定，有无压磅、车上是否有人、空重车等信号。

（a）汽车衡系统工作流程

（b）汽车衡智能计量系统功能简介

图7汽车衡智能计量系统示意图

①压磅检测。针对汽车上磅过程的压磅问题，直接从监控相机中获取图像，使用人工智能算法来进行压磅检测，该方法泛化性较好，维护成本低，后期易扩展。其算法流程如图8所示，首先使用conv（卷积神经网络）对输入图片提取特征图，然后在特征图上提取k个锚点框，接着直接对锚点框进行分类和回归，生成检测结果，最后通过NMS算法（非极大值抑制算法）去除冗余的检测框，得到最终轮胎的定位结果。通过轮胎的定位结果便可计算出车辆相对于磅体的位置，从而进一步判断车辆是否压磅。

图8 基于深度学习的轮胎定位算法流程图

②车内人员检测。现有的汽车衡自动计量系统很少考虑车辆内的人员停留问题，而本项目基于视频流方法，提取连续图像帧的上下文信息，可较为准确地识别出人体的上下车动作，继而分析出车辆内人员的停留情况。其算法框架如图9所示，首先使用SimpleTrack模型提取汽车上磅过程中人体移动轨迹，其过程如图9（a）所示，分别使用不同的特征融合方法为目标检测模块和人体重识别模块生成特征图，根据目标检测模块的位置信息计算Giou矩阵，根据人体重识别模块的外观信息计算Embedding矩阵，然后合并Giou矩阵与Embedding矩阵得到EG矩阵，然后根据匈牙利匹配算法将上下两帧人体目标关联起来，便可获得同一人体的移动轨迹。为避免目标缺失，simpletrack增加了二次匹配过程，通过跟踪检测机制自动将当前帧缺失的目标信息自动补全，最终simpletrack输出视频中所有人体的运动轨迹；基于transformer编码器对simpletrack输出的人体运动轨迹进行分类，其算法框架如图9（b）所示。在本项目中，将运动轨迹分为三个类别，上车轨迹、下车轨迹、其它轨迹，最后选择最大概率的类别作为输入轨迹的类别判断任意时刻车内人员的数量变化。

（a）基于SimpleTrack的人体目标跟踪算法

(b)基于transformer的轨迹分类算法

图9 基于视频流的车内人员计数算法

③套牌车与改装车识别。对于汽车衡计量系统中的套牌车与改装车问题，项目题引入了车辆重识别任务，在汽车衡场景下，车辆的停靠位置被限制在磅内，因此可以完整的拍摄出车辆四周包括车头，车身，车尾的图像，本项目设计了适用于汽车衡计量场景的车辆重识别算法，首先基于Pixel2Mesh++算法将多角度车辆图像合成车辆全局图像并提取三维形貌信息，Pixel2Mesh++算法流程如图10所示；接着通过历史记录中不同时刻同牌车辆2D/3D关键特征匹配和比对实现车辆特征的自动判别。

图10 基于Pixel2Mesh++的车辆三维形貌重构算法

（3）轨道衡自动称量系统

轨道衡自动称量系统需要根据现场安装的监控相机获取火车在轨道运输、上称称量时的视频流，自动从视频流中获取经过的每个车厢的生产信息，无需人工进行生产监督，能够提高铁路运输的安全。对于全天候复杂的光照条件，该系统都能较好地对地磅位置上的车厢姿态进行准确的检测识别，同时能够实时地配合视频图像读取串口信息联合上传客户端平台供支配调用。系统的泛化性能较强硬件成本低，具有可推广性。  

图11轨道衡自动计量系统示意图

①基于深度学习算法的车轮压磅检测。车轮压磅检测是静态衡的一个关键部分，对于每一次车厢所记录的生产信息是否有效，都需要对车厢在地磅位置上进行一个压磅判断，该部分引入先进的深度学习算法来取代传统的图像识别算法，更快更准的进行称量的有效判断。压磅检测主要分为三个部分分别是运动检测、车轮检测和压磅判别。

图12车轮检测效果及算法图

②基于低光图像增强的多视图物料模板匹配识别。

物料检测是针对车厢内部装载货物的种类识别，由于车厢的高度使得车厢内部的深凹区域无法成像，同时光线的遮挡使得车厢内部货物光照不均匀，识别难度较大。为了解决上述问题，利用深度学习技术实现低光图像增强，SFM技术利用多视角合成图片大致恢复物料的三维信息，辅助进行物料的模板匹配，大大提高了物料匹配的准确率。

三、创新性成果

1、基于场景文本检测技术的端对端钢卷标号检测与识别创新点。（1）创造性的提出直接从监控视频识别产品标号，融合物理先验和最新深度学习理论，解决复杂工业环境下弯曲、超长、多行和无字典产品标号文本检测难题，识别率提高直至实际工程应用水平。（2）针对复杂工业环境下弯曲、超长、多行和无字典产品标号文本检测难题，基于Mask TextSpotter V3模型框架，通过在特征提取网络中融入全局注意力，提高模型捕获长距离特征的能力；将识别分支卷积修改为自校准卷积，降低噪声对字符识别的影响，提高识别的准确率；以及在推理阶段，根据标号特点顺时组合字符识别结果。

2、汽车衡自动计量环境监控与违规行为识别创新点。（1）提出全方位视频检测汽车衡动态全自动计量方案，解决遮挡条件下越界检测、驾驶室人员识别和车辆异常改动识别难题。（2）引入虚拟边框限定有效称量区域，借助视频图像中车轮检测和三维平面拟合算法，解决局部视野遮挡造成的汽车衡越界检测难题。（3）利用多角度相机合成车辆全局图像并基于改进SFM模型提取三维形貌信息，通过历史记录中不同时刻同牌车辆2D/3D关键特征匹配和比对，实现套牌车和改装车的自动识别。

3、轨道衡自动称量系统创新。（1）基于多帧图像质量评估解决全天候室外环境火车标号和物料鲁棒成像难题，研发基于车轮检测的轨道衡火车车厢在磅位置检测与状态监控算法。（2）提出基于火车车轮运动视频图像识别的轨道衡在磅状态检测，引入高斯混合模型与深度学习模型相结合的车轮检测算法，解决全天候不同光照环境下火车车轮鲁棒识别定位难题。

四、应用情况与效果

1、基于场景文本检测技术的端对端钢卷标号检测与识别。本项目于2021年正式投入使用，经过超一年的检验，已达到如下效果。（1）当钢卷到达钢卷秤并静止在秤台上时，正确识别钢卷号，充分解决标号位置不同、光线噪点、褶皱反光等异常情况，将识别到的钢卷号与钢卷相关信息（钢卷号、磅号、钢卷重量、图片路径、时间等）存入数据库中，识别率在人眼可辨别的情况下达到99%。（2）时刻监测秤体重量，当重量稳定之后程序获取当前仪表重量，并截取仪表图片更新到之前的数据中。（3）提供可视化的画面查询功能以便现场操作人员进行回溯。（4）建立可靠的心跳程序进行监控程序运行，保证程序可在工业条件下长时间稳定运行，程序需监测秤体情况，已充分考虑无人计量情况下的异常情况，（如停电、网络故障、现场工控机故障等），避免压磅、漏磅等情况出现。

2、汽车衡自动计量环境监控与违规行为识别。本项目于2022年11月开始试运行，已连续稳定运行9个月，达到了如下效果。（1）能实时监控汽车从上磅到下磅的整个过程，当汽车在磅上稳定且符合过磅要求时，系统返回相关信号，包括：车辆有无停止稳定，有无压磅、车上是否有人及空重车等信号。（2）提供了汽车过磅信息的可视化查询界面，便于后期工作人员对某些异常过磅车辆进行二次确认。（3）能对套牌车和改装车进行自动识别，目前准确率已达98%。（4）该项目开发的系统实现了全自动计量，无需在现场配备司磅员进行任何操作，大大降低了人力成本，提高了生产效率。

3、轨道衡自动称量系统。本项目于2022年正式投入使用，经过超半年的检验，已达到如下效果。实时监测轨道衡的车厢称重情况，对称重车和过路车能够有效的区分；对于称重车厢能够快速地进行压磅检测，并读取有效的车号和重量信息，及时更新在软件平台，该软件平台基于QT开发，能够实现Windows和Linux双环境配置，同时系统已经经过长时间的稳定运行，能够应对多种突发情况；

图13SFM多视图重建流程图

信息来源：广西柳州钢铁集团有限公司