[0107] 本发明利用交通场景中非常容易提取的平行线特征，对最小标定条件进行自动识别，从而进行摄像机的标定。采用基于消失点的方法进行标定，通过自动识别出道路边缘线、道路宽度线和道路中心虚线确定最小标定条件，根据不同的最小标定条件进行标定。在道路实际场景中，包含道路两侧边缘在内的车道线组是求取消失点的良好平行线组，道路图像中心水平线与道路两侧边缘的交线常被用作计算道路宽度的线段，道路中间固定间隔的虚线常被用作计算道路长度的良好道路线组。这些参数在道路环境中很容易被获取，这充分保证了此标定方法在此场景下的通用性。在最小标定条件的基础上，如果有冗余信息可以对标定参数进行优化，提高标定精度。
[0108] 如图1至图6所示，本发明公开了一种道路云监控平台下的摄像机标定优化方法，详细步骤如下：
[0109] 步骤1，摄像机模型和坐标系的建立
[0110] 步骤1.1，建立世界坐标系O‑XYZ、相机坐标系O‑XCYCZC、图像坐标系O‑UV和摄像机模型；
[0111] 摄像机模型简化为针孔模型，并且主点与图像中心重合，成像平面与光轴垂直，内参数只有焦距是未确定的，观测路面为平直的。如图2(a)和(b)所示为道路场景下摄像机空间模型的示意图。为方便后续分析，设相机焦距为f，相机原点距离地面高度为h，相机俯仰角为φ，相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ，由于相机自旋角可以通过简单的图像旋转进行表示，并且对于标定结果无影响，因此不予考虑。
[0112] 设所建坐标系均为右手系。建立世界坐标系，坐标系包含x,y,z轴，原点位于相机在路面的投影点，z轴垂直于地面方向向上，图2的(a)侧视图中可以看出，x轴指向纸内，用表示，y轴垂直于xoz平面，图2的(b)俯视图中可以看出，z轴指向纸外，用⊙表示；建立相机坐标系，坐标系包含xc,yc,zc，原点位于相机所处位置，xc轴与世界坐标系下的x轴平行，zc轴正向沿着相机的光轴指向地面，yc轴垂直于xcozc平面指向地面。图中的主点为r点，为zc轴延伸至与地面的交点，根据图2中的角度关系，r点在世界坐标系下的坐标为(0,hcotφ,0)；建立图像坐标系，以r点为原点，水平向右为u轴，垂直向下为v轴。所述的图像坐标系为图像平面坐标系。
[0113] 步骤1.2，将相机拍摄的图像中路面上任意一点的世界坐标转换到图像坐标系中，得到世界坐标系的点与图像坐标系的点的投影关系；
[0114] 世界坐标系中的坐标：x＝[x y z 1]T，图像坐标系中的坐标：p＝[αu αv α]T,α≠0。其中x,y,z为世界坐标系中的坐标在x,y,z三个轴上的值，u,v为世界坐标系中的坐标在图像坐标系中对应u,v两个轴上的值，α为图像坐标系中坐标的一个分量。从世界坐标系到图像坐标系的投影方程为：
[0115] p＝KRTx
[0116] 其中K，R，T分别代表内参矩阵，旋转矩阵和平移矩阵。
[0117]
[0118]
[0119]
[0120] 将K，R，T代入到投影方程中可得到展开的投影模型。
[0121]
[0122] 由于后面的最小标定条件都是采用路面标识信息，因此设路面上任意一点的世界坐标为(x,y,0)，可以把空间点与图像点(世界坐标系的点与图像坐标系的点)的投影关系简化，世界坐标系的点与图像坐标系的点的投影关系为：
[0123]
[0124]
[0125]
[0126]
[0127] 步骤2，最小标定条件的选取及标定结果的计算
[0128] 步骤2.1，将图像坐标系中多条平行直线的交点转换为钻石空间中折线组的交点；
[0129] 本方案中，图像坐标系中的直线有几个交点，转换到钻石空间(出处：Real Projective Plane Mapping for Detection of Orthogonal Vanishing Points)中对应的也是相同数量的交点。
[0130] 假设图像坐标系中的直线方程为：ax+by+c＝0，其在钻石空间映射为折线组，映射关系如下：
[0131]
[0132] 其中，a,b,c为直线一般方程的三个参数，三个参数均为常数，sgn为符号函数，下标o表示为图像坐标系。
[0133] 将图像空间中存在直线映射到钻石空间是为了将图像坐标系下的无穷直线转换到钻石空间中的有限折线，从而求取消失点。
[0134] 步骤2.2，将钻石空间中折线组的交点变换到图像坐标系中，求得图像坐标系的消失点坐标；
[0135] 为了求取准确的消失点坐标，采用钻石空间的方法将无穷的图像域变换到有限的菱形域中，建立起图像空间和钻石空间的映射关系。如图4所示，d代表钻石空间y半轴长度，D代表钻石空间x半轴长度，原图像域中无穷的空间被映射到了有穷的菱形区域内，图4中的虚线表示分布在图像域四个象限的无穷远点，以及不同的坐标轴在钻石空间对应的映射关系。则通过钻石空间中点[x,y,w]d和图像空间中点[x,y,w]o互相转换的变换公式可以完成映射：
[0136] [x,y,w]o→[‑dDw,‑dx,sgn(xy)x+y+sgn(y)dw]d
[0137] [x,y,w]d→[Dy,sgn(x)dx+sgn(y)Dy‑dDw,x]o
[0138] 其中，w为图像坐标系中坐标的一个分量，下标o为图像坐标系，下标d为钻石空间。
[0139] 类似霍夫变换中的投票原则，图像空间中多条平行直线的交点在钻石空间中变为折线组的交点，将钻石空间中折线组的交点根据上述的变换公式变换到图像空间中，即求得准确的消失点坐标。
[0140] 步骤2.3，根据步骤2.2得到的消失点坐标的数量确定最小标定条件，计算标定结果。
[0141] 场景中两个互垂直消失点+1个物理标识参量：
[0142] 相机高度h已知的情况：将世界坐标系中路面延伸方向无穷远点坐标和垂直方向无穷远点坐标代入步骤1的式1和式2中，得到f，φ及θ的表达式，完成标定。
[0143] 相机高度h未知的情况：引入道路物理线段长度l的两个端点的世界坐标的y轴坐标yb,yf，通过f，φ及θ的表达式计算出相机高度h与长度l的表达式，完成标定。
[0144] 场景中一个消失点+2个物理标识参量：
[0145] 相机高度h未知的情况：引入道路物理宽度w，通过步骤1中的式1得到相机高度h与宽度w的表达式，将h与w的表达式和h与l的表达式联立，得到关于f的四次方程，求解出f，通过式4和式5求解出φ和θ，完成标定。
[0146] 相机高度h已知的情况：如果引入道路物理宽度w，通过对h与w的表达式两边平方，代入式4和式5的条件，得到关于f的四次方程，求解出f，通过式4和式5求解出φ和θ，完成标定。如果引入道路物理线段长度l，通过对h与l的表达式两边平方，代入式5的条件，得到关于f的四次方程，求解出f，通过式4和式5求解出φ和θ，完成标定。
[0147] 在道路交通场景中，道路的物理几何信息主要有车道边缘线、道路虚线和道路宽度等，其物理参量都具有国家标准，这些信息的自由组合加上识别的消失点共同构成最小标定条件；选取最小标定条件的具体步骤如下：
[0148] 根据消失点的数量不同，最小标定条件可分为以下两类：
[0149] 第一类：场景中两个互垂直消失点+1个物理标识参量；
[0150] 第二类：场景中一个消失点+2个物理标识参量；
[0151] 其中，两个互垂直的消失点是指：一个沿车流方向也就是路面延伸方向，另一个是路面延伸方向的垂直方向。单个消失点是指沿车流方向也就是路面延伸方向。
[0152] (1)两个互垂直消失点的情况
[0153] 第一种最小标定条件中的1个物理标识参量可分为两种情况：第一种是相机高度h已知，只需要计算求得f，φ，θ，则完成标定过程；第二种是相机高度h未知，需要计算求得f，φ，θ和h，h可以通过f，φ，θ间接计算。
[0154] (1‑1)相机高度h已知的情况
[0155] 引入路面延伸方向(车流方向)的消失点(u0,v0)，和垂直方向形成的消失点(u1,v1)，如图3的(a)所示，y轴与路面延伸方向夹角为θ，可知世界坐标系中路面延伸方向无穷T T远点坐标为x0＝[‑tanθ 1 0 0] ，垂直方向无穷远点坐标为x1＝[1 tanθ 0 0] ，由消失点原理可知，(u0,v0)及(u1,v1)为x0与x1在图像空间中的投影。将坐标代入(1)、(2)式中化简可得以下结果：
[0156]
[0157]
[0158]
[0159] 由于前面已假设相机没有自旋角，因此消失点纵向坐标相等，即v1＝v0，对上述公式进行变换，可得到f，φ及θ的表达式。
[0160]
[0161]
[0162]
[0163] 结合(3)、(4)、(5)式由两个互垂直消失点坐标可以求得f，φ，θ，由于h已知，因此完成标定过程。
[0164] (1‑2)相机高度h未知的情况
[0165] 相机高度h未知的情况下，物理标识参量可以选取道路交通场景中常见的虚线标识进行计算。
[0166] 设道路虚线标识的物理长度为l，虚线端点物理纵坐标及像素坐标分别设为：yb和yf，vb和vf；道路物理宽度为w，与图像坐标系横坐标截距像素长度为δ。道路标识信息的空间几何关系及在图像中的透视投影关系如图3所示。
[0167] 由(2)式可以反算出物理坐标y的表示形式。
[0168]
[0169] 物理坐标y与对应像素横坐标u无关，因此对于道路任意位置与道路方向平行的虚线l，如图3的(a)所示，可建立等式关系：yb＝yf+lcosθ。用两种方式将yf表达出来进行联立，求解出h：
[0170]
[0171]
[0172] 将(4)式中的条件 代入，可得关于h的表达式：
[0173]
[0174] 其中为计算方便引入中间变量τ＝(vf‑v0)(vb‑v0)/(vf‑vb)。
[0175] 由上述推导可知虚线标识l可以间接表示相机高度h，结合(3)、(4)、(5)式由两个互垂直消失点坐标可以求得f，φ，θ，所有未知参数f，φ，θ及h都已求解，因此完成标定过程。
[0176] (2)单个消失点的情况
[0177] 在道路交通云监控场景下，由于云台的角度不断变化，很难获取到两个准确的消失点，一般只能准确获取到车流方向的一个消失点，因此在实际场景中，可以优先采用第二种最小标定条件进行参数标定，具体计算过程如下：
[0178] 第二种最小标定条件中的2个物理标识参量可分为两种情况：
[0179] (2‑1)相机高度h未知的情况
[0180] 此时的物理标识参量必须选取道路虚线长度和道路宽度。设路面延伸方向(车流方向)的消失点坐标为(u0,v0)，引入道路宽度w和虚线l，宽度w也可以建立起与高度h的等式关系。设道路中沿世界坐标系的x轴方向与道路边界截距设为Δx，对应图像中的截距为Δu，如图3所示。将Δx和Δu代入(1)式化简可得：
[0181]
[0182] 从上式中反解出h：
[0183]
[0184] 为了简便表达，如图3的(b)所示，考虑v＝0特殊情形下所得的截距Δu＝δ。
[0185] y|v＝0＝hcotφ
[0186] 同时，如图3的(a)所示，Δx与道路宽度w满足等式关系Δx＝wsecθ，将y|v＝0＝hcotφ代入上述反解出的h表达式，可得道路宽度w与高度h的等式关系：
[0187]
[0188] 将(6)、(7)式进行联立：
[0189]
[0190] 由(4)、(5)式可以解出cosθ，sinφ：
[0191]
[0192]
[0193] 由于已知参量是消失点(u0,v0)，l及w与其对应的图像投影值，将(8)、(9)式代入(6)、(7)式联立的等式中可得关于未知参量f的四次方程：
[0194]
[0195] 其中，为计算方便引入中间变量kV＝δτl/wv0。
[0196] 由于是关于f的四次方程，根据f>0的约束，方程如果有两个正根解无法舍去时，应对f进行约束找出正确解，在实际应用场景中，常用相机高度h作为判断依据，求解出两个待定的正根f和每个正根对应的φ，θ后，代入(6)或(7)式中，利用实际场景h满足一定范围的特性以确定唯一的根。当f唯一确定之后，根据(4)(5)式可以求解φ，θ，根据(6)或(7)式可以求解h，所有未知参数都已求解，因此完成标定过程。
[0197] (2‑2)相机高度h已知的情况
[0198] 此时的物理标识参量可以为道路虚线长度l或者道路宽度w，剩余的可以作为冗余条件对标定参数进行优化。
[0199] 如果物理标识参量为道路宽度w，通过对(7)式两边平方，再代入(8)、(9)式的条件，可得关于未知参量f的四次方程：
[0200]
[0201] 其中，为计算方便引入中间变量kw＝wv0/hδ。
[0202] 由于是关于f的四次方程，根据f>0的约束，方程如果有两个正根解无法舍去时，应对f进行约束找出正确解，由于相机高度已知，不能再用作判断依据，因此选用l作为判断依据。求解出两个待定的正根f和每个正根对应的φ，θ后，利用标定信息f,φ,h根据(11)、(12)、(13)、(14)式和两点间距离公式 计算出l的空间距离，与真实物理距离相比，选取误差较小的l对应的根f。当f唯一确定之后，根据(4)、(5)式可以求解φ，θ，由于h已知，因此完成标定过程。
[0203] 如果物理标识参量为道路虚线长度l，通过对(6)式两边平方，再代入(8)式的条件，可得关于未知参量f的四次方程：
[0204]
[0205] 其中，为计算方便引入中间变量kL＝τl/h。
[0206] 由于是关于f的四次方程，根据f>0的约束，方程如果有两个正根解无法舍去时，应对f进行约束找出正确解，由于相机高度已知，不能再用作判断依据，因此选用l作为判断依据。求解出两个待定的正根f和每个正根对应的φ，θ后，利用标定信息f,φ,h根据(11)、(12)、(13)、(14)式和两点间距离公式 计算出l的空间距离，与真实物理距离相比，选取误差较小的l对应的根f。当f唯一确定之后，根据(4)、(5)式可以求解φ，θ，由于h已知，因此完成标定过程。
[0207] 步骤3，标定结果的优化
[0208] 最小标定条件和求解出标定结果的基础上，如果道路场景中有冗余信息(冗余长度和冗余宽度)，可以对标定的结果进行优化。
[0209] 经过分析可以得知，对于道路场景下的标定等价于待估计参数：X＝(f,φ,h)。由于大多数场景中存在冗余信息，如：多条道路虚线、多条道路虚线间隔、不同位置的道路宽度等。因此，采用开放式优化求解方法，在已有的最小标定条件下，利用存在的冗余几何信息，进一步提高标定精度：
[0210]
[0211] 将上述公式记为代价函数，设冗余长度信息的数量为N1，冗余宽度信息的数量为N2， 表示每一组冗余条件下由待估计参数X表示的对应的几何物理信息与实际值的归一化误差， 表示求出使得式10最小的待估计参数X的值。几何长度信息可以是道路虚线、道路虚线间隔，几何宽度信息可以是道路宽度。初始值X0＝(f0,φ0,h0)为利用待估计参数X进行标定得到的初始标定结果。
[0212] 从图中我们可以获取冗余长度信息两个端点的图像坐标为(u0,v0)，(u1,v1)，对应的世界坐标为(x0,y0,0)，(x1,y1,0)。
[0213] 由待估计参数f,φ,h表示的冗余长度信息的物理坐标如下：
[0214]
[0215]
[0216]
[0217]
[0218] 如果选择冗余长度信息求取归一化误差，根据(11)、(12)、(13)、(14)式和两点间距离公式可知根据冗余长度信息计算出来的空间距离为而空间实际距离为ltruth(通过《道路交通标线设置规范》均为已知，冗余长度信息若为道路虚线则以6米算，若为道路虚线间隔则以9米算)，将空间实际距离与计算出来的空间距离作
2
差，可得到一组e(l)＝ltruth‑lcal。
[0219] 如果选择冗余宽度信息求取归一化误差，根据(11)、(12)、(13)、(14)式和两点间距离公式可知根据冗余宽度信息计算出来的空间距离为而空间实际距离为wtruth(通过《道路交通标线设置规范》均为已知，冗余宽度信息以单车道
2
宽度3.75米算)，将空间实际距离与计算出来的空间距离作差，可以得到一组e (w)＝wtruth‑wcal。将所有的冗余长度和宽度信息按组数进行求和，即可构造出完整的(10)式。求解使得(10)式最小的参数XN＝(fN,φN,hN)即为参数的优化结果。
[0220] 为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图5所示的实际道路交通场景图像，并且在此实际交通场景中识别出最小标定条件对摄像机进行了标定。如图6所示，识别出沿车流方向的一组平行线，通过钻石空间变换求得消失点坐标；道路中间固定间隔的虚线作为求取道路长度的条件；计算道路图像中心水平线与道路两侧边缘的交线线段长度作为求取道路宽度的条件。虚线的物理长度和道路的物理宽度均通过查阅相关资料已知。
[0221] 实验结果表明，通过本方法识别出的最小标定条件能够完成参数标定，并且从图6中可以看出该道路场景中包含大量冗余信息，可以进一步对标定参数进行优化。优化结果如表1所示。实验结果说明本方法完全能够满足道路交通场景下标定的精度要求，该实验在一定程度上证明了本发明所提出方法的有效性。
[0222] 表1单消失点多标识融合标定方法与传统标定方法在道路场景中的标定结果对比[0223]
