基于视觉感知的多传感器融合点云文法分割方法

虹平面到影像上，得到关的的像素个人信息，然后将关的的影像像素平面回点虹一维，在点虹一维上同步进行多传感相结合。而这引致了致使的个人信息损失惨重。为了消除这个原因，所写指出基于 可视平面的相结合工具，通过把激光雷达个人信息平面到数码相机坐标系下，来移去更是多多的数码相机传感个人信息。

把激光雷达个人信息平面到影像的反复引导已知的标定数值来实现。对于平面后来的每个激光雷达点，选用跟backbone工具SalsaNext[5]一样的设计者，即移去(d, x, y, z, r)五个一维的特质。其中亦会，d问到深度值。

3.3. 模组二：Two stream network with residual-based fusion modules

由于数码相机个人信息和激光雷达个人信息所包涵的个人信息彼此间存在显着不同，因此，适用双主干的在线来分别处理完全相同；也定的个人信息。

对于多；也定特质的相结合，由于难以实现 数码相机个人信息很更易受到变色和阴雨有条件的因素，引致来自数码相机的个人信息或许是不精确的。因此，所写设计者了Residual-based的相结合方式则，只把相结合的特质作为激光雷达特质的补充，而激光雷达特质始终保持始终保持稳定。除此之外，为了进一步消除相结合特质中亦会增益个人信息的冲击，所写还转入Attention Module，来选择持续性的把相结合后来的特质转入到激光雷达的特质中亦会。

通过以上的设计者，使得于是又度得到的相结合特质更是加精确。

3.4. 模组三：Perception-aware loss

从；也设结果来看，由于激光雷达主干难以从密集点虹中亦会捕捉听觉特质，即只有 在 球体边缘以及 有平面到的个人信息的以年前，特质才被作用于。相比之下，数码相机主干却可以极佳地从人口众多的影像个人信息中亦会努力学习到个人信息的特质，如上上图所不知，数码相机主干在球体 实际上的特质被作用于，并且特质变化具备 连续持续性。

因此，本文指出了一种Perception-aware loss，来使在线可以极佳的利用以上提到的各个主干的；也设占优势，于是又度降至极佳的；也设效用。具体设计者如下：

为了利用影像主干的特质来提升点虹主干的；也设效用，首先在公式(1)中亦会界定 ；也设绝热，然后根据公式(2)进一步算出；也设 置信度。由于并非来自数码相机主干的所有个人信息都是有效的，比如在球体的边缘，；也设置信度亦会比较很低，因此，通过公式(3)来衡量来自数码相机主干 个人信息的更是为重要。由于期望完全相同；也定的；也设结果无论如何在 语义学上的分布是雷同的，因此，在这里应运而生了KL散度。于是又度，通过方程组(4)来算出激光雷达主干的Perception-aware Loss。

如方程组(4)所述，对于激光雷达主干，完整的损失惨重参数包涵Perception-aware Loss、Focal Loss以及Lov´asz softmax Loss。

受Mutual Learning必要的启发，数码相机主干损失惨重参数的设计者选用和激光雷达主干雷同的建议。

4. Experiments

在这一部分，展示了PMF在完全相同激光雷达个人信息集和完全相同阴雨只能的比如说持续性检验结果，并应运而生一个压制持续性检验来证明PMF在可用压制拦截样本只能的鲁邦精确持续性。检验结果证明，PMF在多种只能都具备极佳的比如说持续性，并且可以在压制拦截中亦会始终保持更是高鲁棒持续性。

4.1. Results on SemanticKITTI

为了分析报告本工具在SemanticKITTI上的精度，将PMF与几种最技术的激光雷达语义学分离工具同步进行了比较。由于SemanticKITTI只缺少年前视上图摄像机的影像，因此本工具将点虹平面到可视上图中亦会，并只移去影像上的可用点来构筑SemanticKITTI的一个子集。为了分析报告的公平竞争，所写适用其他工具公开发表的最技术的基础训练模型在年前视上图个人信息上同步进行分析报告。

检验结果如下诏右上图。可以看出，PMF在基于平面的工具中亦会降至最好精确持续性。例如，PMF在mIoU中亦会的精确持续性高于SalsaNext4.5%。然而，PMF的精确持续性比最技术的一维卷积工具，即Cylinder3D[6]相比反之亦然1.0%。但是难以实现并能听觉对自动驾驶小汽车的安全持续性也至关重要，因此所写还同步进行了基于距离的分析报告。

检验结果证明，当距离大于30米时，PMF的精确持续性至少了Cylinder3D[6]，降至最好精确持续性。所写认为，这是由于数码相机个人信息可以为近处球体缺少了更是多的个人信息，因此基于相结合的工具在并能上高于仅适用激光雷达个人信息的工具。这也表明基于PMF更是适宜消除密集激光雷达个人信息的语义学分离基础训练任务。

4.2. Results on nuScenes

研究成果也在一个更是繁杂、也更是密集的个人信息集nuScenes上进一步分析报告了所指出的工具。nuScenes的点虹比SemanticKITTI的点虹更是密集(35k点/帧 vs. 125k点/帧)。

检验结果如下诏右上图。从结果来看，PMF 在 nuScenes 个人信息集上实现了最佳精确持续性。这些结果与预料一致，即，由于PMF定制了RGB影像，因此能够在更是加密集的点虹有条件下几乎能降至平庸的语义学分离效用。

除此之外，如上上图右上图，PMF工具在早晨也具备极佳的语义学分离效用，于是又一次证明了PMF工具的鲁棒持续性。更是多的数据处理结果请拍照研究成果附录。

4.3. Results on SensatUrban

在投稿后来，此短文的工具还参加了SensatUrban ICCV2021竞赛。

注意，因为SensatUrban个人信息集上个人信息形式的管制，所以无法适用可视平面，因此选用的是基于鸟瞰上图的平面方式则来处理个人信息的。其他关于实施建议的细节不知GitHub。

4.4. Adversarial Analysis

由于普通人世界总是存在一些亦会让小汽车迷惑的布景，比如贴在出租车上的海报以及艺术家上图画在地面上的标语。所写期望小汽车在行驶反复中亦会不亦会被这些布景所迷惑，否则这对于自动驾驶小汽车来说将是甚为小心的。

因此，为了一维这种普通人世界的布景，进一步证明工具的鲁棒持续性，所写从其他布景布料了一些球体（如上上图的小汽车和人），并水印在目标布景中亦会来得到新的数码相机个人信息，但是并没彻底改变布景的激光雷达个人信息。

从上上图的结果表明，单纯基于数码相机个人信息的工具很更易把这些水印上去的；也球体识别为普通人球体，而基于多传感个人信息的PMF却不亦会受到这些；也球体的冲击，并且可以实现正确的语义学分离效用。更是多的压制拦截检验结果不知附录。

值得注意的是，在这个检验中亦会并没适用额外的压制拦截基础训练工具来基础训练PMF。

4.5. Effect of perception-aware loss

为了证明Perception-aware loss的因素，所写数据处理了在有Perception-aware loss和没Perception-aware loss只能的激光雷达主干的；也设。从上上图的数据处理效用来看，转入Perception-aware loss基础训练的模型可以努力学习到小汽车的完整圆形，而baseline模型只出发点的发散特质。这证明了Perception-aware loss的应运而生可以尽力激光雷达主干极佳的努力学习到影像的个人信息。

5. Conclusion

最后总结一下，本文指出了一个有效的相结合数码相机和激光雷达个人信息的语义学分离工具PMF。与基本的在激光雷达坐标系中亦会同步进行特质相结合的工具完全相同，本工具将激光雷达个人信息平面到数码相机坐标系中亦会，使这两种；也定的听觉特质（RGB影像的紫色和网格，激光雷达个人信息的解析几何圆形）能够协同相结合。在两个可视个人信息集上的检验结果和压制拦截检验的结果表明了该工具的不可否认。表明了，通过相结合来自数码相机和激光雷达的有序个人信息，PMF对繁杂的场地布景和变色变化具备更是持续性的鲁棒持续性。未来，所写将更进一步提更是高 PMF 的效率，并将其扩展到其他自动驾驶基础训练任务上。

研究成果连通

Perception-Aware Multi-Sensor Fusion for 3D LiDAR Semantic Segmentation

(_Perception-Aware_Multi-Sensor_Fusion_for_3D_LiDAR_Semantic_Segmentation_ICCV_2021_paper.pdf）

code连通

GitHub - ICEORY/PMF: Perception-aware multi-sensor fusion for 3D LiDAR semantic segmentation (ICCV 2021)（）

参考文献

[1] Chen, Liang-Chieh, et al. "Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs." IEEE transactions on pattern analysis and machine intelligence 40.4 (2017): 834-848.

[2] Milioto, Andres, et al. "Rangenet++: Fast and accurate lidar semantic segmentation." 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019.

[3] El Madawi, Khaled, et al. "Rgb and lidar fusion based 3d semantic segmentation for autonomous driving." 2019 IEEE Intelligent Transportation Systems Conference (ITSC) . IEEE, 2019.

[4] Vora, Sourabh, et al. "Pointpainting: Sequential fusion for 3d object detection." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

[5] Cortinhal, Tiago, George Tzelepis, and Eren Erdal Aksoy. "SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds." International Symposium on Visual Computing . Springer, Cham, 2020.

[6] Zhu, Xinge, et al. "Cylindrical and asymmetrical 3d convolution networks for lidar segmentation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2021.

。

南洋克痢痧适合什么人用
经期腰疼的厉害怎么办
飞秒手术后能用海露玻璃酸钠滴眼液吗
呼吸内科
新冠药
胃炎
消化系统肿瘤
血栓