[0055] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056] 本发明实施例公开了一种基于车联网V2X与视频融合的港区行车安全监测方法，包括以下步骤：
[0057] S1、输入视频图像，对每一帧视频图像进行预处理；
[0058] S2、通过目标检测模型对预处理后的视频图像进行视觉识别，对检测框进行筛选，获得高精度的识别结果；
[0059] S3、输入目标检测的识别结果，对视频图像进行透视变换，生成视频图像的俯视图成像，将其对应到物理空间的地理位置坐标，实现目标跟踪和运动状态检测；
[0060] S4、车联网V2X设备生成标准的PSMs和BSMs消息集；
[0061] S5、融合PSMs和BSMs消息集，实时检测监控区域内运输车辆与作业人员是否存在冲突风险，进而生成车辆碰撞预警信息，当车辆碰撞风险超过设定的阈值时，通过路侧设备RSU播发给装配车联网设备OBU的运输车辆和佩戴手环等终端设备的作业人员，同时RSU可将采集的运输车辆和作业人员状态实时传输至后台监控中心。
[0062] 为进一步优化上述技术方案，步骤S1具体包括：
[0063] S11、对原始视频图像进行缩放处理，提高视频图像处理的运算速度和目标检测结果的精度；
[0064] S12、通过图像掩膜mask筛选监测的关键区域，屏蔽关键监测区域外的目标运动，避免关键区域外的目标物对目标检测的干扰，提升目标检测的效率。
[0065] 为进一步优化上述技术方案，步骤S2具体包括：
[0066] S21、对视频窗口覆盖的每个目标图像块进行分割，通过颜色、纹理、大小和形状进行局部特征提取，将分割后的目标图像块输入卷积神经网络，生成检测框；
[0067] S22、目标物的检测框进行优化处理，通过非极大值抑制模型剔除重复的检测框，当重叠度的值大于0.5时，剔除当前检测框；
[0068] S23、对检测框属性进行标定，输出目标检测的目标参数矩阵，得到目标检测的识别结果；
[0069] 为进一步优化上述技术方案，步骤S21的具体步骤为：
[0070] S211、将预处理后的视频图像分成S*S个单元格，以每个单元格为单位进行预测，若目标物的中心处于某个单元格中，则通过该单元格预测此目标物；
[0071] S212、每个单元格生成N个检测框，每个检测框的属性包含其坐标、高度、宽度和目标识别的置信度，一共生成N*(4+1)个检测框属性值；
[0072] S213、假设有C类目标检测类型，则每个单元格一共生成N*(4+1)+C个检测框属性值；所有的单元格共生成S*S*(N*5+C)个检测框属性值。
[0073] 为进一步优化上述技术方案，步骤S23的具体步骤为：
[0074] S231、定义目标参数矩阵为A＝(C,P,Px,Py,Ph,Pw)，其中A表示目标参数矩阵，C表示目标物的类型，P表示目标检测的置信度，Px和Py分别表示检测框底线中心的像素横、纵坐标，Ph和Pw分别表示检测框的相对高度、宽度；
[0075] S232、通过目标检测算法对目标物进行识别，得到目标物的类型C和置信度P，Px、Py、Ph和Pw是关于检测框的比值数据，运行该算法后会生成带有矩阵数据的文本文件；
[0076] S233、综合以上的数据，输出目标参数矩阵和识别结果。
[0077] 为进一步优化上述技术方案，步骤S3具体包括：
[0078] S31、通过透视变换将倾斜视角的图像转换成俯视图成像，将图像像素坐标转换成地理位置坐标；
[0079] S32、通过坐标变换得到的地理位置坐标获取目标物的实时位置，对目标物运动状态实时更新，并输出目标物运动速度和行进方向。
[0080] 为进一步优化上述技术方案，步骤S31的具体步骤为：
[0081] S311、运用透视变换公式[x',y',z']T＝M·[x,y,z]T将图像转换成俯视图；
[0082] 其中， 为透视变换矩阵， 为线性变换；[a31 a32]为平T
移变换；[a13 a23]为透视变换；
[0083] 定义(Px,Py)为一帧图像坐标变换前的像素坐标，(px,py)为坐标变换后的像素坐T T标，运用透视变换公式进行计算：[px,py,1]＝M·[Px,Py,1] ，其中，(px,py,1)表示俯视图视角在二维画面上的成像；
[0084] S312、定义图像的四个顶点i＝[1,2,3,4]，分别表示图像的左上、右上、右下和左下顶点对应的像素位置；图像顶点对应的实际位置经纬度为Wi＝(Wx,i,Wy,i)，其中，Wx,i、Wy,i分别表示第i个点位的纬度和经度信息。
[0085] 为进一步优化上述技术方案，步骤S32的具体步骤为：
[0086] S321、定义坐标变换将俯视图的像素坐标转换为地面真实坐标，得到目标物当前所在的位置。
[0087]
[0088]
[0089] 其中， 表示图像中单位像素的纬度变化率， 表示图像中单位像素的经度变化率，(Wx,1,Wy,1)表示图像左上顶点的经纬度坐标，得到目标物当前所在的位置为(Lx,Ly)；
[0090] S322、通过半正矢公式 获取速度和行进方向，其中， 和 分别表示位置L1和L2的纬度，以弧度制表示； 表示L1和L2的纬度差；Δγ表示L1和L2的经度差；R表示地球半径，单位为米；
[0091] S323、计算位置L1和L2的距离为 单位为米；目标物的移动速度为 其中，v的单位是米每秒；方向为h＝a tan 2(Δφ,Δγ)；h以弧度制表示。
[0092] 为进一步优化上述技术方案，步骤S4具体包括：
[0093] S41、视频处理单元输出目标检测信息到车联网路侧设备RSU，基于以上的识别信息生成PSMs结构化数据；
[0094] S42、通过车载设备OBU采集车辆的运动状态信息和操作信息，生成BSMs结构化数据。
[0095] 为进一步优化上述技术方案，步骤S5具体包括：
[0096] S51、通过车联网LTE‑V2X进行信息传输，实现人、车和路侧设备的数据交互，通过路侧设备RSU将预警信息播发给运输车辆和作业人员；
[0097] S52、通过融合PSMs和BSMs消息集实时检测监控区域内运输车辆与作业人员是否存在冲突风险，生成车辆碰撞预警信息；
[0098] S53、设定车辆碰撞危险指标，当车辆碰撞风险超过设定的阈值时，通过路侧设备RSU播发给装配车联网设备OBU的运输车辆和佩戴手环等终端设备的作业人员。
[0099] 如图1所示，本发明实施例公开了本发明提供了一种基于车联网V2I与视频融合的港区运输车辆行车安全态势监测方法，以港区的监控视频为识别样本，对监控区域内的目标物进行目标检测。融合视频处理单元输出的目标检测信息和车联网V2X设备生成标准的PSMs和BSMs消息集，进而制定车辆碰撞预警信息，当车辆碰撞风险超过设定的阈值时，通过路侧设备RUS播发给网联汽车和行人据此形成一个行车安全态势监测系统，数据处理过程包含以下步骤：
[0100] 步骤1：输入视频图像，对每一帧图片进行缩放、掩膜优化等预处理，并将图像预处理的结果用于目标检测，进而实现对目标物的识别，步骤如下：
[0101] 步骤1.1：为提高视频图像处理的运算速度和目标检测结果的精度，需要对原始视频图像进行缩放处理。原始视频图像像素过大会导致图像处理的运算时间变长，像素过小会导致目标检测精度降低，经反复试验选取视频图像大小为640*480像素时，本发明中步骤2‑3的运算处理时间和目标检测精度能够达到综合最优，步骤如下：
[0102] 步骤1.1.1：定义输入视频图像帧集合为N＝{ni|1＜i＜I}，其中，I为输入图像的总帧数；fx和fy为视频图像沿x轴和y轴的缩放系数；
[0103] 步骤1.1.2：当输入的视频图像尺寸大于640*480像素，需要对原始图像进行缩小处理。定义输入视频图像的像素为x*y，则视频图像沿x轴的缩小系数为 沿y轴的缩小系数为
[0104] 步骤1.1.3：当输入的视频图像尺寸小于640*480像素，需要对原始视频图像进行插值处理。选取双线性插值算法对原始图像进行放大处理，以目标像素点周边四个点的像素值为基准，分别从横向和纵向进行一阶线性插值处理。例如，设定输出视频图像目标点的像素坐标是(2.5，3.5)，则目标点的近似像素值为f(2.5,3.5)，对目标点进行双线性插值。首先，能够推出目标点最近的四个像素坐标为(2，3)、(2，4)、(3，3)、(3，4)；然后，从输出视频图像的x轴方向进行插值处理，能够得到近似像素值f(2.5,3)和f(2.5,4)；最后，从输出视频图像的y轴方向进行插值处理，能够得到目标点的近似像素值f(2.5,3.5)，双线性插值算法在原始视频图像的放大处理中起到平滑作用，可以使输出视频图像保持较好的画质。
[0105] 步骤1.1.4：输出视频图像帧集合为M＝{mj|1＜j＜J}，其中，J为输出图像的总帧数，即输出视频图像大小为mj,size＝640*480。
[0106] 步骤1.2：为避免关键区域外的目标物对目标检测的干扰，利用图像掩膜筛选需要监测的关键区域，从而屏蔽关键监测区域外的目标运动，提升目标检测的效率。图像掩膜(mask)是由0和1形式组成的一个二进制图像，当在关键区域中应用掩模时，1值区域作图像处理，0值区域不作任何的运算。例如，为提升关键区域的目标检测效果，需要提取视频图像中期望的预处理区域，特别是车道的关键交叉口和障碍物遮蔽的转角处等关键监测点。例如，输出视频图像大小为mj,size＝640*480，设定视频图像的关键区域为(320，240，300，400)，其中，(320，240)表示关键区域的坐标位置，(300，400)表示关键区域的高度和宽度。
例如，将图像掩膜和原图中的每个对应像素进行逻辑与运算，即1&1＝1；1&0＝0。将原始视频图像分成3*3的正方形图像，共含9个单元格，其中的数值表示该单元格的像素值，定义图像掩膜中需要进行图像处理的单元格数值为1，进而将原始图与图像掩膜进行运算。
[0107] 步骤2：输入预处理后的视频图像，运用目标检测模型进行视觉识别，为提高检测精度，需要对检测框进行筛选，进而获得高精度的识别结果。
[0108] 步骤2.1：为实现对步骤1输出的视频图像进行目标检测，需要对视频窗口覆盖的每个目标图像块进行分割，通过颜色、纹理、大小和形状进行局部特征提取，然后将分割好的目标图像块输入卷积神经网络，进而生成检测框，步骤如下：
[0109] 步骤2.1.1：将输入预处理后的视频图像分成个S*S个单元格，此后以每个单元格为单位进行预测。如果一个目标物的中心处于某个单元格中，则该单元格负责预测此目标物；
[0110] 步骤2.1.2：每个单元格需要生成N个检测框，每个检测框的属性包含其坐标、高度、宽度以及目标识别的置信度，一共生成N*(4+1)个检测框属性值；
[0111] 步骤2.1.3：假设有C类目标检测类型，则每个单元格一共生成N*(4+1)+C个检测框属性值；所有的单元格共生成S*S*(N*5+C)个检测框属性值。
[0112] 步骤2.2：为提高目标检测的精度，需要对目标物的检测框进行优化处理，进而实现对行人检测模型精确标定。重复的检测框会降低目标检测精度，通过非极大值抑制(non‑max suppression)模型剔除重复的检测框，利用重叠度(Intersection‑over‑union，IoU)来判断是否需要剔除重复的检测框，当IoU的值大于0.5时，则需要剔除该检测框。
[0113] IoU的公式为： 其中，i和j表示两个不同的检测框；Oij表示i检测框和j检测框的相交区域；Uij表示i检测框和j检测框的合并区域。使用非极大值抑制模型剔除重复检测框的具体步骤如下：
[0114] 步骤2.2.1：对同一个目标物标定多个矩形检测框；
[0115] 步骤2.2.2：获得该目标物的种类及其置信度；
[0116] 步骤2.2.3：利用置信度进行筛选，并且取出这一类置信度最高的检测框；
[0117] 步骤2.2.4：判断检测框的IoU是否大于0.5，如果是则去除掉该检测框；
[0118] 步骤2.2.5：循环执行以上步骤，直到找到置信度最高的检测框；
[0119] 步骤2.2.6：输出该类剩余检测框中置信度最高的一个。
[0120] 步骤2.3：为获取目标检测的识别结果，需要对检测框属性进行标定，进而输出目标检测的目标参数矩阵，从而实现对监控区域的目标识别。
[0121] 步骤2.3.1：定义目标参数矩阵为A＝(C,P,Px,Py,Ph,Pw)，其中A表示目标参数矩阵，C表示目标物的类型，P表示目标检测的置信度，Px和Py分别表示检测框底线中心的像素横、纵坐标，Ph和Pw分别表示检测框的相对高度、宽度。
[0122] 步骤2.3.2：利用目标检测算法对目标物进行识别，进而得到目标物的类型和置信度，Px、Py、Ph和Pw是关于检测框的比值数据，运行该算法后会生成带有矩阵数据的文本文件。
[0123] 步骤2.3.3：综合以上的数据，输出目标参数矩阵和识别结果。例如，在文本000011.txt中有：(person 0.97 0.69 0.13 0.63 0.21)，person表示目标检测的类型是行人，其置信度为97％。Px＝0.69表示边框底线中心的像素横坐标为441.6(640×0.69)；Py＝
0.13表示边框底线中心的像素纵坐标为62.4(480×0.13)。Ph＝0.63表示该目标物体边界框的像素高度是302.4(480×0.63)，Pw＝2.01表示边界框的像素宽度是134.4(640×
0.21)。
[0124] 步骤3：输入目标检测的识别结果，对视频图像进行透视变换，进而生成视频图像的俯视图成像，并将其对应到物理空间的地理位置坐标，从而能够实现目标跟踪和运动状态检测。
[0125] 步骤3.1：为避免摄像头的倾斜角度造成视频图像的扭曲，通过透视变换将倾斜视角的图像转换成俯视图成像，进而将图像像素坐标转换成地理位置坐标；
[0126] 步骤3.1.1：由于摄像头和物理空间存在一定的倾斜角度，拍摄的图像存在透视畸变，因此要将图像进行透视变换，进而将其变换成图像的俯视图。透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)，也称作投影映射(Projective Mapping)。例如，(Px,Py)为一帧图像坐标变换前的像素坐标，(px,py)为坐标T T变换后的像素坐标，运用透视变换公式进行计算：[px,py,1]＝M·[Px,Py,1] ，其中，(px,py,
1)表示俯视图视角在二维画面上的成像。
[0127] 步骤3.1.2：定义图像的四个顶点i＝[1,2,3,4]，分别表示图像的左上、右上、右下和左下顶点对应的像素位置。例如，图像右下角顶点i＝3的像素值为640*480；图像顶点对应的实际位置经纬度为Wi＝(Wx,i,Wy,i)，例如，W1表示图像左上角顶点对应的地理位置坐标，Wx,i，Wy,i分别表示第i个点位的纬度和经度信息，例如，W1＝(Wx,1,Wy,1)＝(34.67928N,82.84670W)。
[0128] 步骤3.2：通过坐标变换得到的地理位置坐标获取目标物的实时位置，进而实现目标物运动状态的实时更新，并据此输出其速度和行进方向；
[0129] 步骤3.2.1：定义坐标变换将俯视图的像素坐标转换为地面真实坐标，进而可以得到目标物当前所在的位置；
[0130] 步骤3.2.2：运用半正矢公式 获取速度和行进方向，其中， 和 分别表示位置L1和L2的纬度，以弧度制表示； 表示L1和L2的纬度差；Δγ表示L1和L2的经度差；R表示地球半径，单位为米。
[0131] 步骤3.2.3：计算位置L1和L2的距离为 单位为米；目标物的移动速度为 其中，v的单位是米每秒；方向为h＝a tan 2(Δφ,Δγ)；h以弧度制表示。
[0132] 步骤4：车联网V2X设备生成标准的PSMs和BSMs消息集
[0133] 步骤4.1：视频处理单元输出目标检测信息到车联网路侧设备RSU，基于以上的识别信息生成PSMs结构化数据，例如：
[0134]
[0135] 步骤4.2：通过车载设备OBU采集车辆的运动状态信息、操作信息等生成BSMs结构化数据，例如：
[0136]
[0137]
[0138] 步骤5：融合PSMs和BSMs消息集实时检测监控区域内运输车辆与作业人员是否存在冲突风险，进而生成车辆碰撞预警信息，当车辆碰撞风险超过设定的阈值时，通过路侧设备RSU播发给装配车联网设备OBU的运输车辆和佩戴手环等终端设备的作业人员[0139] 步骤5.1：通过车联网LTE‑V2X进行信息传输，进而实现人、车和路侧设备的数据交互，从而将人车碰撞预警信息进行播发；
[0140] 步骤5.1.1：视频处理单元通过网口将目标检测信息传输给路侧设备RSU；
[0141] 基于港区的监控视频为识别样本，对监控区域内的目标物进行目标检测，进而生成目标检测参数信息，通过网口连接将视频处理单元的输出传输给路侧设备RSU。根据双方的传输协议，视频处理单元和RSU需要交换的数据被分解成一定数量的数据包，其中包括视频处理单元和RSU的网络地址，其交换过程按照一定的原则最后通过网口传输给RSU。
[0142] 步骤5.1.2：OBU通过LTE‑V无线通信将BSMs信息传输给RSU；
[0143] LTE‑V是指基于LTE移动通信网络技术而形成的V2X车联网无线通信技术，其传输是基于最新标准协议设计的PC5接口的直传链路，可以实现车辆间高速以及高密度的通信。在LTE‑V的信息传输中，通过多链路信号通信可以实现BSMs信息传输至路侧设备RSU，车载设备OBU与RSU之间采用专用短程通信DSRC标准协议进行半双工通信；当网联汽车经过RSU的通信区域时，RSU向其发出询问信号，OBU则做出响应从而进行数据交换。
[0144] 步骤5.2：通过融合视频处理单元的输出目标信息和V2X生成的消息集，并设定车辆碰撞风险指标，以此制定相应的车辆碰撞预警信息，当碰撞风险超过阈值时，路侧设备RSU向网联汽车和行人终端播发碰撞预警；
[0145] 步骤5.2.1：定义车辆碰撞时间(time‑to‑collision，TTC)作为人车碰撞风险的指标；Lo＝(Lxo,Lyo)是目标行人的位置，Vo＝(Vxo,Vyo)是目标行人的移动速度；Lv＝(Lxv,Lyv)是目标车辆的位置，Vv＝(Vxv,Vyv)是目标车辆的速度。
[0146] 步骤5.2.2：可以得出Lto和Ltv分别是目标行人和目标车辆经过t秒所移动的距离。此时，令|Lto‑Ltv|＝ε，ε是目标物和目标车辆之间的距离，t则是车辆碰撞时间TTC。设l是车辆的长度，因此有Lto＝Lo+Vot表示经过t秒后目标物的位置，Ltv＝Lv+Vvt表示经过t秒后目标车辆的位置。
[0147] 步骤5.2.3：将|Lto‑Ltv|＝ε变为|(Lo‑Lv)+(Vo‑Vv)t|＝ε，当人车碰撞时间TTC超过危险阈值时，则生成车辆碰撞预警。
[0148] 步骤5.3：设定车辆碰撞危险指标，当风险超过阈值时则播发车辆碰撞预警。预先设定t的极限值是8秒，为使驾驶员在发现危险并采取稳定的制动操作，最大限度保护驾驶员和行人双方的安全，本发明定义TTC的阈值为7.7秒。当网联汽车接收到行人安全风险提示时，车辆会立即对驾驶员发出声音警报，以提醒驾驶员减速慢行；行人可以通过随身携带的通信设备接收预警信号，即时规避车辆碰撞风险。
[0149] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0150] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
