简介

该文档讨论单应矩阵、相机投影模型、基于鱼眼相机畸变模型的BEV投影等概念。并根据上述概念，给出系统几何对齐BEV技术是如何实现的。

单应矩阵

基于几何对齐的BEV，实际上可以理解为通过相机模型将图像中的像素点反投影为相机坐标系下的一条射线，再根据相机的外参将这个射线变换到世界坐标系中，再将该射线与地面相交（找到这条射线上Z = 0 的点)。并将地面进行栅格化，转变为BEV图像。从而完成几何对齐BEV。

设地面坐标系 / 车体坐标系为 G，相机坐标系为 C。地面上一点为：

P_G = \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}

IPM 的核心假设是：被投影的点都在同一个平面上，通常取地面平面： $Z = 0$ 所以地面点可以写成二维齐次形式： $\tilde{P}_G = \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}$

图像像素点写成：

\tilde{p} = \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}

其中：X, Y, Z：地面坐标系 / 车体坐标系下的三维坐标u, v：图像像素坐标~ 表示齐次坐标形式。设从地面坐标系到相机坐标系的外参为：

T_{C \leftarrow G} = \begin{bmatrix} R & t \\ 0_{1 \times 3} & 1 \end{bmatrix}

其中旋转矩阵可以按列写成：

R = \begin{bmatrix} r_1 & r_2 & r_3 \end{bmatrix}

。

于是地面点变换到相机坐标系为：

P_C = R P_G + t

展开为：

P_C = r_1 X + r_2 Y + r_3 Z + t

因为 IPM 假设点位于地面平面：

Z = 0

所以：

P_C = r_1 X + r_2 Y + t

也就是：

P_C = \begin{bmatrix} r_1 & r_2 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}

这一步很关键：因为地面平面约束 Z = 0 消掉了 r3 这一列，所以三维投影退化成了二维平面到图像平面的映射。针孔相机模型为：

s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = K P_C

其中 K 是相机内参矩阵：

K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}

代入上一节的结果：

s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = K \begin{bmatrix} r_1 & r_2 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}

于是定义：

H_{I \leftarrow G} = K \begin{bmatrix} r_1 & r_2 & t \end{bmatrix}

所以：

s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = H_{I \leftarrow G} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}

也可以写成：

s \tilde{p} = H_{I \leftarrow G} \tilde{P}_G

其中：

H_{I \leftarrow G} = K \begin{bmatrix} r_1 & r_2 & t \end{bmatrix}

这就是地面平面到图像平面的单应矩阵。

在使用针孔相机投影模型时，三维坐标点投影到图像中使用一个矩阵即可描述。而在其他的模型中变换中存在非线性的部分，无法用矩阵来描述，也无法直接推导出单应矩阵的形式。

在这样的情况下，我们就要把BEV投影分步进行：