摘要:深度补全是一种利用稀疏深度数据生成高分辨率稠密深度图的环境感知技术。 然而,现有深度补全算法在昏暗或低照 度场景中预测深度图的准确度不足,在极端光照条件下的应用效果较差。 针对该问题,提出一种基于自监督深度学习的热成像 与激光雷达融合深度补全方法,用于训练网络模型在低光照或无光照的条件下生成像素级稠密的深度图。 所提网络为编码器 -解码器架构,以热图像和激光雷达的稀疏深度图作为编码器输入,在不同图像尺度上进行特征融合,解码器逐层对融合后的 特征进行上采样和深度预测,生成稠密深度图。 其次,设计了基于自注意力与跨注意力机制的多模态融合模块嵌入到编码器, 通过自适应加权增强特征融合效果,提升预测稠密深度图的准确度。 最后,构建了自监督学习框架,利用温度重建损失和稀疏 深度损失进行自监督训练,无需额外的深度真值标注过程。 在公开数据集上的实验验证表明,所提方法在不同光照条件下均能 稳定生成稠密深度图。 相较于现有深度补全基准方法,平均绝对误差在 MS2 和 VIVID 数据集上分别降低了 44. 49% 和 25. 28% 。 在低光或无光环境下,通过融合热成像与激光雷达数据的互补优势,显著提高了深度预测的准确性和稳健性,为低光 照场景下的环境感知提供了有效解决方案。