基于自监督学习的热成像与激光雷达融合深度补全方法
DOI:
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TH811 TP242

基金项目:

江苏省农业科技自主创新资金项目(CX(24)1023)、中央高校基本科研业务费专项(2024301002)资助


Self-supervised learning-based depth completion method using thermal imaging and LiDAR fusion
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    深度补全是一种利用稀疏深度数据生成高分辨率稠密深度图的环境感知技术。 然而,现有深度补全算法在昏暗或低照 度场景中预测深度图的准确度不足,在极端光照条件下的应用效果较差。 针对该问题,提出一种基于自监督深度学习的热成像 与激光雷达融合深度补全方法,用于训练网络模型在低光照或无光照的条件下生成像素级稠密的深度图。 所提网络为编码器 -解码器架构,以热图像和激光雷达的稀疏深度图作为编码器输入,在不同图像尺度上进行特征融合,解码器逐层对融合后的 特征进行上采样和深度预测,生成稠密深度图。 其次,设计了基于自注意力与跨注意力机制的多模态融合模块嵌入到编码器, 通过自适应加权增强特征融合效果,提升预测稠密深度图的准确度。 最后,构建了自监督学习框架,利用温度重建损失和稀疏 深度损失进行自监督训练,无需额外的深度真值标注过程。 在公开数据集上的实验验证表明,所提方法在不同光照条件下均能 稳定生成稠密深度图。 相较于现有深度补全基准方法,平均绝对误差在 MS2 和 VIVID 数据集上分别降低了 44. 49% 和 25. 28% 。 在低光或无光环境下,通过融合热成像与激光雷达数据的互补优势,显著提高了深度预测的准确性和稳健性,为低光 照场景下的环境感知提供了有效解决方案。

    Abstract:

    Depth completion is a technique for generating high-resolution dense depth maps from sparse depth data for environmental perception. Existing methods struggle with accuracy in low-light or dark conditions, performing poorly under extreme lighting. This article proposes a self-supervised method that fuses thermal images and LiDAR data to complete dense depth maps in low-light or no-light scenarios. The network adopts an encoder-decoder structure, using thermal images and sparse LiDAR depth as inputs. Features are fused at multiple scales in the encoder, and the decoder upsamples them to predict dense depth maps. Multi-modal fusion modules based on self-attention and cross-attention are embedded in the encoder to enhance feature fusion with adaptive weighting, improving prediction accuracy. A self-supervised framework is established with temperature reconstruction and sparse depth losses, removing the need for depth ground truth. Experiments on public datasets show that the method generates dense depth maps stably under various lighting conditions. Mean absolute error decreases by 44. 49% on MS2 and 25. 28% on VIVID compared to benchmarks. By leveraging thermal and LiDAR data′s complementary strengths, this method improves depth prediction accuracy and robustness in low-light environments, offering an effective solution for perception in challenging lighting. Keywords:depth completion; multi-sensor data fusion; thermal imag

    参考文献
    相似文献
    引证文献
引用本文

于 睿,马国梁,郭 健,许立松.基于自监督学习的热成像与激光雷达融合深度补全方法[J].仪器仪表学报,2025,46(1):170-181

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2025-04-08
  • 出版日期:
文章二维码