Safetynet论文精读

1 基本信息

团队：Level 5， Toyota收购的Lyft自动驾驶团队（对，这个团队名字就叫Level 5）
年份：2021
官网：https://www.self-driving-cars.org/papers/2022-safetynet（对，他们专门做了个网站）
论文链接：https://arxiv.org/abs/2109.13602
代码链接：git clone https://github.com/woven-planet/l5kit.git
视频链接：safety.l5kit.org
数据集：内部数据集380h，300h做训练，80h做测试

2 Motivation

2.1 规则方案

传统的SDV的planning任务是一个优化问题optimization problem，需要手动设计loss function，这种cost function很难模拟人类在safety/comfort/route之间的trade off，如果需要调整，代价是昂贵的the process is expensive，而且泛化能力弱scale poorly to new geographies。

2.2 深度学习方案

随着深度学习的出现，规划拥有了新的范式，取代了手工设计，泛化性更好。主要有两种方法：模仿学习和强化学习。但是目前的这些方法暂时没有安全保证safety guarantees。

2.3 组合方案

深度学习模型提供多条轨迹，轨迹对轨迹进行评估evaluation。比如MP3模型。
本文使用了一个人工设计的轻量级系统，来进行sanity（心智健全）检查。

3 解决方法

组合了一个基于机器学习的planner和一个备用层fallback layer。

planner输出多条轨迹，最好的一条如果无法通过检查，就选轨迹簇中另一条最近的。

3.1 深度学习模型

3.1.1 Encoder部分

输入采用了自车轨迹、周车轨迹、高精地图信息，采用向量化和图神经网络进行表示。类似于Vectornet。

首先采用Pointnet（一个用于点云数据的分类分割任务模型）局部子图local subgrapg来处理输入的局部信息，然后采用Transformer的全局图global graph来推理车和路的特征。

3.1.2 Decoder部分

在decoder部分，用MLP解析出加加速度和曲率，通过运动学模型去迭代推导车辆状态，而不是直接解码出自车轨迹。这样轨迹的平滑性会更好。

可行性检查会考虑碰撞概率。方法是光栅化图像，检查重叠；以及检查纵向速度、TOC，TimeHeadway等。
如果不可行，就要进行轨迹生成。轨迹生成方法参照《Optimal trajectories
for time-critical street scenarios using discretized terminal manifolds》。

2.1.3 loss function设计

考虑了准确性指标：预测位置和真实位置差异、舒适性指标：曲率和纵向加速度。

3 实验结果

3.1 评价指标

1.碰撞
2.距离障碍物过近
3.急刹车
4.被动（仿真中比数据集中的速度小5m/s）
5.偏航（比原路线偏移超过10m）
6.ADE

3.2 仿真结果

针对ADE，没有和其他模型进行对比，只是展示了随着数据集大小和预测时长的变化，ADE如何变化。

针对评价指标1-5，未与其他模型进行对比，只是做了消融实验。
fallback层最主要的工作在于ML生成的轨迹（1）接触路沿；（2）接触障碍物；（3）与周车距离过近infeasible distance gap；（4）转向太突然infeasible steering jerk，这些没英里mile会出现超过1次，第一项超过2次。

尽管有了fallback层，但是仍然有一些场景可能出现危险。文中举了一个例子：自车贴着黄线行驶，对面来车速度突然改变a sudden change in velocity。自车没有和该车保持足够的安全距离。

3.3 实车结果

在旧金山开了150+miles，能够面对各种复杂场景（lane-following, merging, yielding to
pedestrians or nudging around parked cars）。其中fallback层起作用占比7.9%，说明了相当有必要有这一层做最后保险。

4 总结

这是第一个将深度学习和规则组合起来使用的方案，具有开创性。
但是对于模型设计、中间表示等涉及不足，读者只能知道最终效果，但是无法获知其可解释性如何。
从实车测试结果来看，规则的判断与重新生成安全的轨迹是相当有必要的，这也应该是我们出于安全考虑应该做的事情。