基于视觉感知的多传感器融为一体点云语义分割方法

直接影响之以前的方法有一般使用双曲线平面的手段将点云平面到平面图象上，借助方面的缩放电子邮件，然后将方面的平面图象缩放平面回点云紧致，在点云紧致上顺利进行多感应器混合。而这随之而来了情况严重的电子邮件人员伤亡。为了消除这个疑问，著者明确指出基于 光影平面的混合方法有，通过把激光雷达资料平面到胶片双曲线下，来保证一致足以多的胶片感应器资料。

把激光雷达资料平面到平面图象的更全面来使只能有的标定模板来来使。对于平面之后的每个激光雷达点，使用跟backbone方法有SalsaNext[5]一样的新设计，即保证一致(d, x, y, z, r)五个维度的特开放性。其中所，d回应深值。

3.3. 模块化二：Two stream network with residual-based fusion modules

由于胶片资料和激光雷达资料所包含的电子邮件二者之间存在实着相异，因此，可用双主干的网络服务来分别妥善处理并不相同骗定的资料。

对于多骗定特开放性的混合，由于直接影响 胶片资料很更易受到照射和气象先决条件先决条件的情况严重影响，随之而来来自胶片的资料有可能是不简单的。因此，著者新设计了Residual-based的混合手段，只把混合的特开放性作为激光雷达特开放性的补充，而激光雷达特开放性保证不变。除此之外，为了全面消除混合特开放性中所频谱电子邮件的冲击，著者还转为Attention Module，来依赖开放性的把混合之后的特开放性转为到激光雷达的特开放性中所。

通过以上的新设计，使得最终赢取的混合特开放性更为加简单。

3.4. 模块化三：Perception-aware loss

从数据分析结果来看，由于激光雷达主干难以从稠密点云中所捕捉知觉特开放性，即只有 在 表面大块以及 有平面到的资料的地方，特开放性才被抑制。远比之下，胶片主干却可以极好地从稠密的平面图象资料中所研修到资料的特开放性，如上平面图所唯，胶片主干在表面 内外的特开放性被抑制，并且特开放性变异具 连续开放性。

因此，本文明确指出了一种Perception-aware loss，来使网络服务可以更为好的并用以上提到的各个主干的数据分析优势，最终达致更为好的数据分析缺点。完全一致新设计如下：

为了并用平面图象主干的特开放性来提升点云主干的数据分析缺点，首先在不等式(1)中所表述 数据分析熵，然后根据不等式(2)全面数值数据分析 置信度。由于并非来自胶片主干的所有电子邮件都是有效的，比如在表面的大块，数据分析置信度则会比起高于，因此，通过不等式(3)来衡量来自胶片主干 电子邮件的重要开放性。由于渴望并不相同骗定的数据分析结果确实在 语法上的分布是相似的，因此，在这里带入了KL散度。最终，通过不不等式(4)来数值激光雷达主干的Perception-aware Loss。

如不不等式(4)所述，对于激光雷达主干，零碎的人员伤亡算子包含Perception-aware Loss、Focal Loss以及Lov´asz softmax Loss。

受Mutual Learning的系统的启发，胶片主干人员伤亡算子的新设计使用和激光雷达主干相似的建议书。

4. Experiments

在这一部分，展示了PMF在并不相同激光雷达资料集和并不相同气象先决条件才会的时间推移开放性科学研究结果，并带入一个反抗开放性科学研究来解析PMF在可用反抗反击抽取才会的史瑞克精度。科学研究结果确实，PMF在多种才会都具极好的时间推移开放性，并且可以在反抗反击中所保证高鲁棒开放性。

4.1. Results on SemanticKITTI

为了风险评估本方法有在SemanticKITTI上的精度，将PMF与几种最现代化的激光雷达语法一分为二方法有顺利进行了比起。由于SemanticKITTI只给予以前网格闪光灯的平面图象，因此本方法有将点云平面到光影平面图中所，并只保证一致平面图象上的可用点来构建SemanticKITTI的一个子集。为了风险评估的公平开放性，著者可用其他方法有公开的最现代化的军事训练建模在以前网格资料上顺利进行风险评估。

科学研究结果如进言标明。可以实现出，PMF在基于平面的方法有中所达致毫无疑问精度。例如，PMF在mIoU中所的精度强于SalsaNext4.5%。然而，PMF的精度比最现代化的三维卷积方法有，即Cylinder3D[6]远比差1.0%。但是直接影响远一段距离知觉对自动驾驶货车的安全开放性也至关重要，因此著者还顺利进行了基于一段距离的风险评估。

科学研究结果确实，当一段距离小于30米时，PMF的精度少于了Cylinder3D[6]，达致毫无疑问精度。著者认为，这是由于胶片资料可以为边进言面给予了更为多的电子邮件，因此基于混合的方法有在远一段距离上强于只能可用激光雷达资料的方法有。这也表明基于PMF更为适合于消除稠密激光雷达资料的语法一分为二勤务。

4.2. Results on nuScenes

科学论文也在一个更为多样、也更为稠密的资料集nuScenes上全面风险评估了所明确指出的方法有。nuScenes的点云比SemanticKITTI的点云更为稠密(35k点/帧 vs. 125k点/帧)。

科学研究结果如进言标明。从结果来看，PMF 在 nuScenes 资料集上来使了最佳精度。这些结果与预计一致，即，由于PMF集成了RGB平面图象，因此能够在更为加稠密的点云先决条件下仍然能达致全然的语法一分为二缺点。

除此之外，如上平面图标明，PMF方法有在夜晚也具极好的语法一分为二缺点，如此一来一次确实了PMF方法有的鲁棒开放性。更为多的建模结果请提示科学论文红皮书。

4.3. Results on SensatUrban

在新潮之后，此一段话的方法有还参加了SensatUrban ICCV2021竞赛。

注意，因为SensatUrban资料集上资料表现形式的放宽，所以不能可用光影平面，因此使用的是基于鸟瞰平面图的平面手段来妥善处理资料的。其他关于实施建议书的细节唯GitHub。

4.4. Adversarial Analysis

由于虚幻总是存在一些则会让货车欺骗的情节，比如贴在公交车上的海报以及艺术作品描画在地面上的广告牌。著者渴望货车在行走更全面中所不则会被这些情节所欺骗，否则这对于自动驾驶货车来说将是十分小心的。

因此，为了精心设计这种虚幻的情节，全面解析方法有的鲁棒开放性，著者从其他情节剪裁了一些表面（如上平面图的货车和人），并贴在目标情节中所来赢取新的胶片资料，但是并并未发生变异情节的激光雷达资料。

从上平面图的结果表明，单纯基于胶片资料的方法有很更易把这些贴上去的骗表面定位为真实表面，而基于多感应器资料的PMF却不则会受到这些骗表面的冲击，并且可以来使精确的语法一分为二缺点。更为多的反抗反击科学研究结果唯红皮书。

除此以外的是，在这个科学研究中所并并未可用额外的反抗反击军事有系统有来军事训练PMF。

4.5. Effect of perception-aware loss

为了解析Perception-aware loss的情况严重影响，著者建模了在有Perception-aware loss和并未Perception-aware loss才会的激光雷达主干的数据分析。从上平面图的建模缺点来看，转为Perception-aware loss军事训练的建模可以研修到货车的零碎椭圆形，而baseline建模只或多或少的大面积特开放性。这确实了Perception-aware loss的带入可以来使激光雷达主干更为好的研修到平面图象的电子邮件。

5. Conclusion

终于揭示一下，本文明确指出了一个有效的混合胶片和激光雷达资料的语法一分为二方法有PMF。与现有的在激光雷达双曲线中所顺利进行特开放性混合的方法有并不相同，本方法有将激光雷达资料平面到胶片双曲线中所，使这两种骗定的知觉特开放性（RGB平面图象的紫色和平面图层，激光雷达资料的拓扑学椭圆形）能够协同混合。在两个指标资料集上的科学研究结果和反抗反击科学研究的结果表明了该方法有的优越开放性。表明了，通过混合来自胶片和激光雷达的互为电子邮件，PMF对多样的户外情节和照射变异具高度的鲁棒开放性。未来，著者将尝试更高 PMF 的高效率，并将其扩展到其他自动驾驶勤务上。

科学论文相互连接

Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation

(_Perception-Aware_Multi-Sensor_Fusion_for_3D_LiDAR_Semantic_Segmentation_ICCV_2021_paper.pdf）

代码相互连接

GitHub - ICEORY/PMF: Perception-aware multi-sensor fusion for 3D LiDAR semantic segmentation (ICCV 2021)（）

参考文献

[1] Chen, Liang-Chieh, et al. "Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs." IEEE transactions on pattern analysis and machine intelligence 40.4 (2017): 834-848.

[2] Milioto, Andres, et al. "Rangenet++: Fast and accurate lidar semantic segmentation." 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019.

[3] El Madawi, Khaled, et al. "Rgb and lidar fusion based 3d semantic segmentation for autonomous driving." 2019 IEEE Intelligent Transportation Systems Conference (ITSC) . IEEE, 2019.

[4] Vora, Sourabh, et al. "Pointpainting: Sequential fusion for 3d object detection." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[5] Cortinhal, Tiago, George Tzelepis, and Eren Erdal Aksoy. "SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds." International Symposium on Visual Computing . Springer, Cham, 2020.

[6] Zhu, Xinge, et al. "Cylindrical and asymmetrical 3d convolution networks for lidar segmentation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2021.