基于 Transformer 的融合信息增强 3D 目标检测算法
DOI:
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TH741 TP391. 4

基金项目:

国家自然科学基金(62372317)、中国博士后科学基金(2021M691848)、苏州市科技项目基金(SYG202142)资助


Fusion information enhanced method based on transformer for 3D object detection
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对当前 3D 目标检测算法将不同模态数据融合时会产生错位现象,从而破坏数据之间的关联性并造成数据损失的问 题,提出了一种基于 Transformer 的融合信息增强 3D 目标检测算法。 首先设计了 Transformer 双域融合特征区域建议模块,利用 变形注意力机制,将提取到的雷达点云特征和图像特征进行双域特征融合,用于生成 3D 预选框;其次,通过设计的深度补全机 制的特征信息增强模块,补全密集的深度和特征语义信息来完成框的细化;最后,设计了多模态特征交叉注意力模块,采用动态 交叉注意力机制来获得不同模态间的相关性,从而将特征信息有效对齐融合。 在 Kitti、Nuscences 和 Waymo 数据集上的实验结 果证明了该算法的有效性和通用性。 大量的消融实验证明了该算法各个模块的有效性。 在实车平台上的实验结果表明,该算 法在复杂的实际环境中具有优秀的鲁棒性。

    Abstract:

    A fusion information enhanced method based on Transformer is proposed to address the issue of misalignment when the current 3D object detection methods fuse different modal data, which mitigates the disruption of correlation between data and data loss. Firstly, a region proposal network of dual fusion feature module based on transformer is designed, which utilizes the deformable attention mechanism to fuse the extracted lidar point cloud features and image features into dual domain features and generate pre-selected boxes. Then, the refinement of box is designed by using a feature information enhancement module, which utilizes a deep completion mechanism to complement the dense depth and feature semantic information. Finally, a multimodal feature cross attention module is designed, which uses a dynamic cross attention mechanism to obtain correlations between different modalities, thereby aligning and fusing feature information effectively. The experimental results based on the Kitti, Nucences, and Waymo datasets demonstrate the effectiveness of method. A large number of ablation experiments have proven the effectiveness and efficiency of each module in the algorithm. The experimental results based on a real vehicle platform show that the algorithm possesses strong robustness in complex practical environments.

    参考文献
    相似文献
    引证文献
引用本文

金宇锋,陶重犇.基于 Transformer 的融合信息增强 3D 目标检测算法[J].仪器仪表学报,2023,44(12):297-306

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-02-27
  • 出版日期:
文章二维码