PointBeV:稀疏化范式革新自动驾驶BEV感知,实现效率与精度双突破
1. 项目概述:为什么我们需要稀疏的鸟瞰图感知?
在自动驾驶和机器人领域,鸟瞰图(Bird‘s-Eye-View, BeV)感知已经成为了一个事实上的标准范式。简单来说,它的目标是把环绕车辆或机器人的多个摄像头拍摄的2D图像,转换成一个从正上方俯视的、统一的3D空间表示。这个“上帝视角”的网格地图,是融合激光雷达、毫米波雷达等多传感器数据最自然的空间,也是进行目标检测、语义分割、轨迹预测和路径规划等下游任务的理想起点。
然而,传统的BeV方法,无论是基于深度估计的Lift-Splat-Shoot系列,还是基于可学习查询的BEVFormer系列,都面临一个核心挑战:计算效率与资源分配的矛盾。它们通常将整个感兴趣区域(比如100米 x 100米)划分为一个固定分辨率的密集网格(例如200x200个单元格)。这意味着,无论场景中是否有物体,无论远处还是近处,模型都需要为每一个网格单元分配计算资源。对于空旷的高速公路,这造成了巨大的计算浪费;而对于复杂的十字路口,固定的分辨率又可能不足以捕捉远处行人的细节。更棘手的是,当引入时序信息(融合过去多帧数据)以提升感知鲁棒性时,这种密集计算的开销会呈线性甚至指数级增长,严重限制了模型在长时序上下文或高分辨率下的应用。
PointBeV的出现,正是为了从根本上解决这个问题。它的核心思想非常直观:我们真的需要为整个BeV空间的每一个点都进行计算吗?答案显然是否定的。场景中的语义信息(车辆、行人、车道线)在空间上是稀疏分布的。PointBeV大胆地抛弃了“密集网格”的固有思维,转而采用一种稀疏的、基于点的范式。它不再处理整个BeV图像,而是只对一组稀疏的、有意义的BeV坐标点(称为“点”)进行预测。这就像从“地毯式轰炸”转变为“精准狙击”,将宝贵的计算资源集中投入到真正存在物体或需要关注的区域。
这种范式转换带来了几个立竿见影的优势:
- 极致的内存控制:内存消耗与处理的点数直接相关,而非固定的网格大小。这使得在内存受限的边缘计算平台(如车载芯片)上部署复杂的BeV模型成为可能。
- 灵活的效率-精度权衡:在推理时,我们可以动态调整处理的点数。在算力充足时使用更多点以获得高精度;在需要快速响应时,使用较少点以换取速度,而无需重新训练模型。
- 天然适配长时序融合:由于每帧只处理稀疏点集,融合多帧历史信息时,内存和计算量的增长是可控的,从而能够轻松支持长达数秒的时序上下文,这对于理解物体运动规律至关重要。
- 易于集成先验信息:在推理阶段,可以轻松地将激光雷达点云、高精地图等外部信息作为“提示”,引导模型只在可行驶区域或物体可能出现的位置进行采样和计算,进一步减少无效开销。
PointBeV不仅在思路上创新,更在nuScenes、Lyft L5等权威数据集上,在车辆、行人、车道线分割任务上取得了全面的SOTA(State-Of-The-Art)性能。它证明了“稀疏化”不是性能的妥协,反而是通往更高效、更强大感知系统的一条新路径。接下来,我们将深入拆解PointBeV是如何实现这一目标的。
1.1 核心思路拆解:从“密集网格”到“稀疏点云”
理解PointBeV,关键在于把握其与传统方法的根本区别。我们可以用一个形象的比喻:传统的密集BeV模型像一个画家,必须把画布(整个BeV范围)的每一寸都涂上颜色(进行计算);而PointBeV像一个书法家,只在一张白纸的某些特定位置挥毫泼墨(只处理稀疏点)。
传统范式(密集):
输入:多视角图像 -> 特征提取 -> 视图转换(通过深度估计或注意力机制)-> 密集BeV特征网格 -> 解码器 -> 密集预测输出PointBeV范式(稀疏):
输入:多视角图像 + 一组稀疏的2D BeV点坐标 -> 特征提取 -> **仅针对这些坐标点**进行“特征抓取” -> 得到稀疏的3D BeV点特征 -> 稀疏U-Net处理 -> 稀疏点上的预测这个转变带来了两个核心问题:
- 如何为这些稀疏点获取图像特征?(即“特征抓取”模块)
- 如何选择这些稀疏点?(即训练和推理时的采样策略)
PointBeV通过两个核心模块和一个创新的训练策略来回答这些问题:
- Sparse Feature Pulling(稀疏特征抓取模块):高效地、仅针对可见点,从多相机图像中提取特征。
- Coarse-to-Fine(粗-精两阶段)训练策略:用少量点“勘探”全局,再在感兴趣区域“深耕”,稳定训练并聚焦关键区域。
- Submanifold Temporal Attention(子流形时序注意力):在稀疏点上进行高效的时序信息融合。
2. 核心技术模块深度解析
2.1 Sparse Feature Pulling:精准而高效的特征提取引擎
视图转换是BeV感知的核心难点。PointBeV借鉴了BEVFormer、Simple-BEV等“特征抓取”类方法的思路,但做了关键性的稀疏化改进。
传统“特征抓取”的痛点:为了将图像特征映射到BeV空间,通常会在每个BeV网格位置生成一组3D参考点(例如,在不同高度上),然后将这些3D点投影回所有相机图像,并通过双线性插值获取特征。问题在于,一个3D点通常只出现在1-2个相机的视野内(在nuScenes的六相机系统中,每个相机视野约覆盖16%的BeV空间)。然而,传统方法会机械地将所有3D点投影到所有相机,然后对不可见的投影结果进行掩码或填充零值。这导致了高达~84%的无效计算!
PointBeV的解决方案:Sparse Feature Pulling模块。它的逻辑清晰而高效:
- 输入:一组稀疏的2D BeV点
(x, y),以及所有相机的图像特征图。 - 构建3D支柱:对每个2D点,沿垂直方向(Z轴)均匀采样多个高度,形成一簇3D点
{p_z = (x, y, z)},称为一个“支柱”。 - 可见性判断:对于支柱中的每一个3D点
p_z,快速判断它在哪些相机的视野内(C(p_z))。这是一个简单的几何判断,计算成本极低。 - 稀疏投影与插值:仅将
p_z投影到它能被看到的相机C(p_z)的特征图上,并进行双线性插值获取特征。如果一个点被多个相机看到,则对获取到的多个特征进行平均。 - 特征聚合:将同一个2D BeV点对应的所有高度上的3D点特征聚合(例如沿高度维度池化),得到该2D点的最终BeV特征。
实操心得:这个模块的实现需要精细的CUDA内核编程,以高效处理不规则长度的点-相机匹配列表。论文中提到的性能提升是显著的:在批量大小为12时,使用该模块能将内存占用从38.94 GiB降低到25.99 GiB(降低约33%),同时FPS略有提升。这使得在单张40GB A100 GPU上,训练批量大小可以从12提升到28,极大地加速了训练过程。
为什么这么做是有效的?
- 物理合理性:一个3D点的特征信息只可能来自于能看到它的相机。向看不见它的相机索要特征,不仅无益,引入的噪声(或零填充)反而可能干扰模型。
- 计算效率:直接避免了绝大部分无效的投影和插值计算,这是性能提升的关键。
- 工程实现:虽然需要定制CUDA算子,但这是一次性的投入,为后续所有稀疏操作奠定了基础。
2.2 Coarse-to-Fine训练:用“勘探队”和“工程队”协同工作
直接用随机采样的稀疏点去训练一个密集分割任务,是不稳定且低效的。这好比蒙着眼睛在足球场上找球,随机扔几个飞镖,很难命中目标。PointBeV受NeRF中分层采样思想的启发,提出了一个巧妙的两阶段训练策略。
第一阶段:粗粒度勘探
- 目标:用较少的点(例如
N_coarse = 2500,占全网格的1/16)快速扫描整个BeV空间,找到可能存在物体的“热点区域”。 - 操作:从BeV网格中均匀随机采样
N_coarse个点。将这些点输入网络,得到初步的预测(逻辑值)。 - 输出:得到一张粗糙的、布满“探测点”的“热度图”。
第二阶段:精粒度深耕
- 目标:在“热点区域”投入更多计算资源,进行精细预测。
- 操作:
- 锚点选择:从粗粒度预测中,选出置信度最高(逻辑值最大)的
N_anchor个点(例如100个),作为“锚点”。这些点最有可能是物体所在位置。 - 区域稠密化:以每个锚点为中心,定义一个
k_fine x k_fine(例如9x9)的局部窗口,在这个窗口内密集采样新的点。 - 精炼预测:将所有这些新采样的点(数量为
N_fine)再次输入网络(注意:图像特征提取只需做一次,可以共享),得到更精细的预测。
- 锚点选择:从粗粒度预测中,选出置信度最高(逻辑值最大)的
- 输出:在关键区域得到了高密度的预测点。
损失计算与训练:将粗阶段和精阶段在所有被采样点上的预测结果合并,与这些点对应的真实标签计算交叉熵损失。这样,模型同时学习了如何从稀疏观察中识别潜在目标(粗阶段),以及如何对目标区域进行精细刻画(精阶段)。
注意事项:在训练中,
N_coarse和N_fine通常设置为相等,以平衡“探索”(覆盖全局)和“利用”(聚焦局部)。论文中的消融实验证明,这种两阶段策略比将全部预算N_point只用于一次粗采样(单阶段)的IoU高出近3个点(38.3 vs 35.4),并且显著稳定了训练过程。
这个策略的精妙之处在于:
- 动态聚焦:模型学会了“主动感知”,不是被动地处理所有区域,而是先概览,再聚焦。
- 资源优化:用
N_coarse + N_fine的总计算量,实现了接近处理全网格N_grid个点的性能。实验表明,仅使用20%的点(即N_point = 0.2 * N_grid),就能达到与处理全部点相当的性能。 - 为推理铺路:这种“先粗后精”的范式可以直接迁移到推理阶段,形成一种自适应的推理机制。
2.3 Submanifold Temporal Attention:在稀疏时空中的高效信息融合
时序信息对于区分静态与动态物体、解决瞬时遮挡、补偿深度估计歧义至关重要。传统的时序融合方法(如BEVFormer)通常将过去帧的BeV特征通过自车运动对齐到当前帧,然后进行注意力融合或卷积融合。但在稀疏范式下,我们可以做得更高效。
PointBeV的时序融合思路:
- 稀疏投影:将当前帧感兴趣的稀疏点(来自粗采样或精采样)投影到过去帧的相机坐标系中。这样,我们为当前帧的每个点,都获取了它在过去每一帧(如果可见)的特征序列。
- 时序激活筛选:并非所有过去帧的特征都同等重要。PointBeV引入一个时序阈值
τ_temp。对于当前帧的一个点,如果它在某个过去帧的特征激活值(经过sigmoid后的置信度)低于τ_temp,则认为该点在那一帧的信息不可靠或无关紧要,直接丢弃。这进一步减少了需要处理的数据量。 - 子流形注意力融合:这是核心创新点。传统的注意力机制中,一个查询(Query)需要与所有键(Key)进行计算,计算复杂度是
O(N^2)。在稀疏时序场景下,一个当前帧的点,只需要与它在时空邻域内的点进行交互即可。
什么是“子流形”注意力?想象一个3D的时空块,维度是(时间,X坐标,Y坐标)。对于当前帧t0的一个点(x,y),我们只关心在它附近(例如前后wt帧,左右wx、wy米内)的其他点。Submanifold Attention模块为每个查询点定义了一个(wt, wx, wy)的时空窗口,只计算该查询点与其窗口内所有键/值点之间的注意力。窗口外的点完全不参与计算。
- 公式简化理解:
输出(t0,x,y) = Σ Attention(查询(t0,x,y), 键(窗口内所有点), 值(窗口内所有点)) - 优势:
- 计算效率极高:由于每帧都是稀疏点集,且经过阈值筛选,每个查询点需要交互的键值对数量很少。论文中提到,平均只需处理约1/10的过去帧点。
- 感受野可控:通过设置
(wt, wx, wy),可以灵活控制时空上下文的范围,平衡性能与计算量。 - 保持稀疏性:输入是稀疏点集,输出仍然是稀疏点集,完美契合整个稀疏流水线。
避坑指南:时序阈值
τ_temp的选择需要谨慎。设置过高会过滤掉太多可能有用的历史信息(例如物体刚出现时的弱信号);设置过低则失去了筛选的意义,会增加计算量。论文通过分析静态模型预测值的分布,将阈值设为sigmoid(-5),这是一个比较保守的值,能在保留信息和减少计算间取得良好平衡。在实际应用中,可能需要根据具体场景(城市道路/高速)进行调整。
3. 训练与推理全流程实操
3.1 训练流程详解
假设我们使用nuScenes数据集,图像分辨率224x480,BeV范围为100m x 100m,分辨率0.5m(即200x200的网格)。
1. 数据准备与预处理:
- 加载六张环视图像及其对应的相机参数。
- 生成BeV空间的真实标签(车辆、行人、车道线的分割图)。
- 应用图像增强(色彩抖动、翻转等)和BeV空间增强(这是关键!)。BeV增强包括对自车进行随机的平移和旋转,同时需要将真实标注框的坐标和网络前传时用于投影的3D点坐标进行同样的变换,以保证几何一致性。
2. 网络前向传播(以训练一个批次为例):
- 图像特征提取:使用ResNet-50或EfficientNet-B4作为主干网络,提取多尺度图像特征。通常取两个尺度的特征进行融合。
- 生成稀疏点集:
- 粗采样:从200x200的网格(共40,000个点)中,随机均匀采样
N_coarse=2500个点。 - 网络第一遍(粗):将这2500个点通过
Sparse Feature Pulling模块获取特征,再经过稀疏U-Net,得到2500个点的初步预测逻辑值。 - 选择锚点:从2500个点中,选取预测逻辑值最高的
N_anchor=100个点作为锚点。 - 稠密化:以每个锚点为中心,生成一个9x9的局部网格(
k_fine=9),得到N_fine个新的精细点。由于锚点可能靠近边缘,实际N_fine会略小于100 * 81 = 8100,大约在~2800个点左右。 - 网络第二遍(精):将这
N_fine个精细点再次通过网络(共享图像特征),得到精细预测。
- 粗采样:从200x200的网格(共40,000个点)中,随机均匀采样
- 损失计算:合并粗点和精点上的预测,与它们对应的真实标签计算分割损失、中心度损失和偏移量损失(类似FIERY)。
3. 优化器与超参数:
- 优化器:Adam,学习率
3e-4,权重衰减1e-7。 - 学习率调度器:One-cycle线性调度。
- 训练轮数:静态模型约100轮(实际50-80轮已收敛),时序模型从静态模型微调,额外训练时序注意力层。
核心技巧:
N_coarse和N_fine的比例需要调优。论文采用1:1的平衡策略。在实践中,如果场景中物体通常较大(如高速场景),可以适当增加k_fine以覆盖更大区域;如果物体小而密集(如城市十字路口),可以增加N_anchor以捕捉更多潜在目标。
3.2 推理策略:从“密集评估”到“自适应稀疏推理”
PointBeV在推理时提供了极大的灵活性,这是其核心价值之一。
策略一:密集推理(用于公平比较)
- 为了与其他密集BeV方法在相同条件下比较,PointBeV也可以以“密集模式”运行。
- 操作:直接将整个BeV网格(40,000个点)作为输入,进行一次前向传播,得到全图预测。
- 特点:此时PointBeV退化为一个普通的密集预测器,但其内部机制(Sparse Feature Pulling)仍然比传统方法更高效。
策略二:自适应稀疏推理(默认且推荐)这是PointBeV的亮点。它模拟了训练时的“粗-精”过程,但采样策略更灵活。
- 粗采样初始化:不再随机采样,而是采用更有规律的策略来初始化粗点。常见选择有:
- 均匀下采样网格:在200x200网格上,每隔
k个点采一个样(例如k=4,则采样50x50=2500个点)。这是最通用的策略。 - 高斯先验采样:在自车周围采样更密集的点,模拟人类驾驶员更关注近处区域的特性。
- 基于先验的采样:如果推理时有激光雷达点云,可以只在点云覆盖的区域采样;如果有高精地图,可以只在可行驶区域采样。这能极大提升效率。
- 均匀下采样网格:在200x200网格上,每隔
- 锚点选择:将粗采样点输入网络,得到初步预测。选择预测置信度高于阈值
τ(例如0.1)的点作为锚点。 - 精细阶段:围绕每个锚点进行
k_fine x k_fine的局部稠密采样(k_fine通常等于粗采样的步长k),得到精细点并进行预测。 - 生成密集预测图:对于未被任何阶段采样到的BeV网格点,直接将其预测值设为“空”(即背景类)。在评估时,这些位置若存在真实物体,则会计为假阴性(FN)。这是稀疏推理为了效率必须做出的权衡。
参数调优实战:
- 粗采样步长
k:决定了计算量的基线。k=1即为密集推理。k=4(采样1/16的点)在多数任务上已能达到接近密集模型的性能(IoU损失<0.5%),内存消耗降至约1/3。这是性价比极高的选择。- 锚点阈值
τ:控制进入精细阶段的点的数量。τ太低会导致太多点进入精细阶段,增加计算;τ太高会漏检。论文通过分析预测值分布,发现大量点的置信度在0-0.1之间,将τ设为0.1可以过滤掉约71%的点,是一个较好的平衡点。- 精细窗口大小
k_fine:决定了局部修复的粒度。k_fine应略大于k,以确保两个粗采样点之间的间隙能被覆盖。经验上,k_fine = k + 2或k_fine = 2*k - 1是不错的起点。
策略三:利用外部先验的推理这是PointBeV“即插即用”优势的体现。在自动驾驶系统中,激光雷达和高精地图是常见传感器。
- 激光雷达先验:激光雷达点云直接指示了物理障碍物的位置。可以用这些点云位置作为“粗采样点”,引导模型只在这些极有可能存在物体的区域进行计算。实验表明,这种方式用更少的点(~5.4k vs 标准~2.7k)取得了比密集推理更高的IoU(44.5 vs 44.0),因为完全避免了在空旷区域的无效计算和噪声干扰。
- 高精地图先验:可以预先在BeV网格中屏蔽掉建筑物、绿化带等不可行驶区域,完全不在这类区域采样,进一步节省算力。
4. 性能表现与对比分析
4.1 定量结果:全面领先的SOTA性能
PointBeV在nuScenes和Lyft L5数据集上进行了全面测试,主要结论如下:
1. 车辆分割(核心任务):
- nuScenes数据集:在两种图像分辨率(224x480, 448x800)和两种评估设置(考虑所有车辆 / 只考虑可见度>40%的车辆)下,PointBeV的静态版本和时序版本均超越了所有对比方法(包括FIERY、BEVFormer、Simple-BEV等),取得了新的SOTA。
- 关键数据:在224x480分辨率、过滤低可见度车辆的标准设置下,PointBeV(EfficientNet-b4主干)达到了44.0 IoU,比之前的SOTA(Simple-BEV的43.0)高出1.0个点。其时序版本PointBeV-T达到了44.7 IoU。
- Lyft L5数据集:在30m短距离和100m长距离评估中,PointBeV同样全面领先。
2. 行人与车道线分割(泛化能力):
- 行人分割:PointBeV在静态和时序设置下均超越了TBP-Former等专门方法,时序版本达到19.9 IoU。
- 车道线分割:PointBeV以49.6 IoU大幅领先之前的SOTA MatrixVT(44.8 IoU),提升了4.8个点。
- 重要提示:这些结果是在没有针对行人或车道线任务调整任何采样参数(
N_point,k_fine等)的情况下取得的,直接使用了为车辆任务优化的同一套参数。这证明了PointBeV框架强大的泛化能力和通用性。
3. 效率与性能的完美权衡:
- 图1和图7中的“内存-IoU”曲线清晰地展示了PointBeV的核心优势。通过减少处理的点数,可以大幅降低内存占用,同时保持性能几乎不变。
- 例如:在EfficientNet-b4主干、过滤低可见度车辆的设置下,使用仅约6.8k个点(约占全网格的17%),PointBeV就能达到约44.0 IoU,而此时内存占用仅为使用40k个点(全网格)的密集推理的约三分之一。这意味着在边缘设备上,可以用更少的资源运行一个高性能的BeV模型。
4.2 核心模块消融实验
1. Sparse Feature Pulling模块:
- 作用:如表5所示,移除此模块后,在批量大小12时,内存从25.99 GiB激增至38.94 GiB(+50%),同时FPS下降。该模块是实现高效大规模训练(批量大小28)和长时序融合的关键。
2. Submanifold Temporal Attention模块:
- 作用:如表6所示,使用时序模型(PointBeV-T)相比静态模型有显著提升(IoU从38.09提升至39.93)。如果将其替换为标准注意力(处理所有点),性能仅有微不足道的提升(至40.49),但需要处理约5倍的点(~320k vs ~66k),计算量剧增。这证明了子流形注意力在稀疏时序融合中的高效性。
3. Coarse-to-Fine训练策略:
- 作用:如表7所示,在总点数预算
N_point固定的情况下,采用“粗-精”两阶段策略(各占50%预算)的IoU为38.3,远高于将所有预算只用于一次粗采样(35.4)。这验证了两阶段策略在聚焦关键区域、提升性能方面的有效性。 - 数据效率:仅使用总网格20%的点数(8k个点)进行训练,就能达到与使用100%点数(40k个点)训练相近的性能(38.3 vs 38.1)。这为在有限显存下训练更大模型、更高分辨率或更长时序的模型提供了可能。
4.3 自适应推理能力分析
PointBeV的稀疏推理模式提供了丰富的可调参数,允许在部署时根据实际硬件资源和性能需求进行动态调整。
1. 采样策略的影响:
- 均匀下采样:最通用,性能稳定。
- 高斯先验:在近处采样更密,适合城市驾驶场景,对近处小物体更友好。
- LiDAR先验:性能最佳,用最少的点达到最高的IoU,但依赖于额外的传感器。
- 可行驶区域先验:基于高精地图,完全忽略不可行驶区域,最大化计算效率。
2. 关键参数敏感性分析(基于附录实验):
- 精细窗口大小
k_fine:当粗采样比较稀疏时(如k=4),需要较大的k_fine(如9或11)来覆盖间隙,性能才能达到平台期。窗口太小会导致预测图出现“空洞”。 - 锚点阈值
τ:如图9所示,阈值从0.0升到0.5,激活的精细点数从40k骤降到1.4k,内存下降,但IoU也从38.1缓慢降至37.5。τ=0.1是一个很好的折中点,能过滤掉大部分低置信度区域,同时保持高性能。 - 下采样因子
S_k:如图10和表16所示,当S_k从1(密集)增加到16(采样1/16)时,IoU几乎不变(44.0 -> 43.7),但内存消耗大幅降低。当S_k增加到64时,由于采样过于稀疏,开始漏检物体,IoU显著下降至39.1。
部署建议:在实际产品中,可以设计多套预设配置。例如:
- “节能模式”:
S_k=8,τ=0.2,用于算力紧张或简单场景。- “平衡模式”:
S_k=4,τ=0.1,默认配置,适用于大多数情况。- “性能模式”:
S_k=2或密集推理,用于需要最高精度的关键场景(如复杂路口、恶劣天气)。 系统可以根据当前的CPU/GPU负载、场景复杂度(通过简单图像分析得到)动态切换模式。
5. 总结与展望
PointBeV不仅仅是一个新的SOTA模型,它更代表了一种BeV感知研究范式的转变:从密集、均匀的计算转向稀疏、自适应的计算。其贡献可以总结为三点:
第一,提出了一个完整的稀疏BeV感知框架。它包含了训练策略(Coarse-to-Fine)、核心算子(Sparse Feature Pulling)、时序融合模块(Submanifold Attention)和灵活的推理机制,形成了一套可用的系统工程方案。
第二,实现了效率与性能的双重突破。它用更少的计算资源(内存、FLOPs)达到了更高的精度,并且这种效率优势在引入时序信息时更为明显,为部署长时序、高分辨率模型扫清了障碍。
第三,展现了出色的灵活性与可扩展性。无需重新训练,即可在推理时权衡效率与精度,或融入激光雷达、高精地图等先验信息。其稀疏特性也天然适合扩展到多任务(如3D占用预测)、多尺度预测等方向。
从工程实践角度看,PointBeV带来了几个切实的好处:
- 降低部署门槛:使得复杂的BeV感知模型能够在车载嵌入式平台或移动机器人上实时运行。
- 提升系统鲁棒性:长时序信息的轻松引入,有助于解决单帧感知中的遮挡、截断等问题。
- 简化多传感器融合:稀疏点作为中间表示,更容易与激光雷达点云、毫米波雷达目标列表等进行特征级或决策级融合。
未来的探索方向:
- 动态采样策略:当前的采样策略仍是启发式或基于先验的。未来可以探索由网络自身或下游任务(如预测、规划)驱动的动态采样,实现“感知-决策”闭环的注意力分配。
- 轻量化的补全网络:目前对于未采样点直接置为“空”。一个轻量级的网络,根据稀疏预测结果推理出完整的密集BeV图,可能会带来额外的性能提升。
- 统一的多任务、多分辨率模型:稀疏范式非常适合在一个模型中处理不同范围(近场/远场)、不同分辨率(车道线需要精细,远处车辆可以粗糙)的任务,这是密集网格难以实现的。
PointBeV的成功验证了在视觉感知中引入“稀疏性”这一思想的巨大潜力。它提醒我们,在追求更高性能的同时,对计算资源的智能分配与高效利用,同样是推动技术落地的关键。对于从事自动驾驶、机器人感知的工程师和研究者而言,深入理解并尝试将稀疏化思想应用到自己的项目中,很可能成为突破现有瓶颈的一把钥匙。
