车道线检测-GANet-CVPR2022论文学习笔记

• 论文：《A Keypoint-based Global Association Network for Lane Detection》
• 代码：https://github.com/Wolfwjs/GANet
• 地址：http://arxiv.org/pdf/2204.07335
• 内容：使用 CNN，基于关键点检测车道线

整体结构

模型还有一个补充分支（Compensation Map ${\hat{\delta }}_{yx}$）没有在上图中画出来。该分支的任务是减小被 stride r 带来的量化误差，其损失函数为：
$${\mathcal{L}}_{quant}=\frac{1}{H^{\prime }\times W^{\prime }}{\Sigma }_{yx}|{\hat{\delta }}_{yx}-{\delta }_{yx}|$$

其中，${\delta }_{yx}=(\frac{x_i^j}{r}-\lfloor \frac{x_i^j}{r}\rfloor ,\frac{y_i^j}{r}-\lfloor \frac{y_i^j}{r}\rfloor )$，$H^{\prime }=\frac{H}{r}$，$W^{\prime }=\frac{W}{r}$

文中，每条车道线用 K 个关键点表示，这些关键点是经过采样得到的，假设每张图片中的车道线数目是 N：
l i = { p i 1 , p i 2 , ⋯   , p i K } i = 1 N l_i=\{p^1_i,p^2_i,\cdots,p^K_i\}^N_{i=1} li​={pi1​,pi2​,⋯,piK​}i=1N​

模型输出的东西：

对每条车道线，模型预测其每个关键点。

各个模块：

1. 关键点预测模块

用一个 $\frac{H}{r}\times \frac{W}{r}$ 的 Confidence Map 描述某一点是车道线关键点的概率。

构建对应的GT：使用非归一化的高斯核生成GT，在两个高斯Map的重叠处取两者在该处的最大值。
$$Y_{yx}=\exp (-\frac{(x-\tilde{x}{)}^2+(y-\tilde{y}{)}^2}{2{\sigma }^2})$$

其中，$(\tilde{x},\tilde{y})$ 是关键点的位置。

该模块的 损失函数：
L p o i n t = − 1 H ′ × W ′ Σ y x { ( 1 − Y ^ y x ) α log ⁡ Y ^ y x                          Y y x = 1 ( 1 − Y y x ) β Y ^ y x α log ⁡ ( 1 − Y ^ y x )            o t h e r w i s e \mathcal{L}_{point}=\frac{-1}{H'\times W'}\Sigma_{yx}

{(1−Y^yx)αlog⁡Y^yx                        Yyx=1(1−Yyx)βY^yxαlog⁡(1−Y^yx)          otherwise" role="presentation" style="position: relative;">{(1−Y^yx)αlogY^yx                        Yyx=1(1−Yyx)βY^αyxlog(1−Y^yx)          otherwise$$\{\begin{array}{l}(1-{\hat{Y}}_{yx}{)}^{\alpha }\log {\hat{Y}}_{yx}{Y}_{yx}=1\\ (1-Y_{yx}{)}^{\beta }{\hat{Y}}_{yx}^{\alpha }\log (1-{\hat{Y}}_{yx})otherwise\end{array}$$

Lpoint​=H′×W′−1​Σyx​{(1−Y^yx​)αlogY^yx​                        Yyx​=1(1−Yyx​)βY^yxα​log(1−Y^yx​)          otherwise​

2. 起始点回归

用一个 $\frac{H}{r}\times \frac{W}{r}\times C$ 的 Offsets Map，其每个像素上的值是该点到起始点的偏移量（仅考虑关键点）。

记第 i 条车道线起始点为 $(s{x}_i,s{y}_i)$，其第 j 个关键点为 $(x_i^j,y_i^j)$，则偏移量为：
$$(\Delta x_i^j,\Delta y_i^j)=(s{x}_i,s{y}_i)-(x_i^j,y_i^j)$$

该模块的 损失函数：
$${\mathcal{L}}_{offset}=\frac{1}{H^{\prime }\times W^{\prime }}{\Sigma }_{yx}|{\hat{O}}_{yx}-O_{yx}|$$

3. 构建车道线的方式

经前面处理之后，可以根据预测的关键点及其相对起始点的偏移，求得车道线的起始点。对于具有 K 个关键点的车道线，将得到 K 个起始点，且这些起始点在距离上会比较接近。

关键点中包含了起始点 $(s{x}_i,s{y}_i)$，该点在 Offset Map 上的值 小于 1；
通过设置距离阈值 ${\theta }_{dis}$，可以对 $(sx{’}_i,sy{‘}_i)=(x,y)+(\delta x+\delta y)$ 得到的起始点进行分组，每组就代表一条车道线。

Lane-aware Feature Aggregator（LFA）模块

1. 用卷积层预测第 $i$ 个关键点在同一条车道线上的 $M$ 个相邻点到其自身的偏移量
   Δ P i = { Δ p i m ∣ m = 1 , ⋯   , M } ∈ R 2 M \Delta P_i=\{\Delta p^m_i|m=1,\cdots,M\}\in \mathbb{R}^{2M} ΔPi​={Δpim​∣m=1,⋯,M}∈R2M
2. 将这些相邻点处的特征集成到第 $i$ 个点上去：
   $$\hat{\mathcal{F}}(p_i)={\Sigma }_{m=1}^M{w}_m\cdot \mathcal{F}(p_i+\Delta p_i^m)$$

需要用预测出的相邻点偏移量集合与偏移量真值集合
Δ G i = { Δ g i k ∣ Δ g i k = g i k − p i ,    k = 1 , ⋯   , K } \Delta G_i=\{\Delta g^k_i|\Delta g^k_i=g^k_i-p_i,\ \ k=1,\cdots,K\} ΔGi​={Δgik​∣Δgik​=gik​−pi​,  k=1,⋯,K}
之间进行二部匹配，即寻找最佳匹配：
$$\hat{\sigma }={\mathrm{argmin}}_{\sigma }{\Sigma }_m^M{L}_2(\Delta p_i^m,\Delta g_i^{\sigma (m)})$$

该模块的 损失函数：

$${\mathcal{L}}_{aux}=\frac{1}{KNM}{\Sigma }_i^{KN}{\Sigma }_m^{M}SmoothL1(\Delta p_i^m,\Delta g_i^{\hat{\sigma }(m)})$$

4. 整体损失函数：

$${\mathcal{L}}_{total}={\lambda }_{point}{\mathcal{L}}_{point}+{\lambda }_{quant}{\mathcal{L}}_{quant}+{\lambda }_{offset}{\mathcal{L}}_{offset}+{\lambda }_{aux}{\mathcal{L}}_{aux}$$