【48812】单目3D方针检测之入门(1)

时间: 2024-07-30 03:37:28 |   作者: 五星体育预告节目表今天直播

  • 方案介绍

  为了更直观,我画了一个思维导图,点击链接后,留意需求切换一下思维导图状况。

  这类办法都是直接在点云数据上进行特征的提取和RPN操作,将2D方针检测中的网络结构和思维迁移到3D点云中。

  这儿的Pseudo-LiDAR(也叫为激光雷达)这篇文章对后来的单目3D方针查验测验范畴的开展起到了促进的效果。

  这儿使用了双目图画来生成深度图,依据深度图得到点云数据,再进行方针检测使命。

  Stereo Image-based办法中,主要是根据双目图画的3D方针检测,这一范畴我不太了解,今后再做弥补。

  而在单目3D方针查验测验范畴,又可细分为三类办法。关于单目3D方针检测的分类翻译自CaDNN这篇文章

  所谓直接法便是直接从图画中估量出3D检测框,也无需猜测中心的3D场景表明[9,52,4,32]。

  更进一步的说便是,直接法能结合2D图画平面和3D空间的几许联络来辅佐检测[53,12,40,3]。

  引进深度感知卷积,它按行区分输入并学习每个区域的no-shared kernels,以学习3D空间中坐落相关区域的特定特征。

  形状估量能够从3D CAD模型的符号极点中被监督[5,24],或从LiDAR扫描[22],或直接从输入数据以自我监督的办法[2]。

  直接法的缺陷是检测框直接从2D图画中生成,没有发生清晰的深度信息,相关于其它办法,定位功能较差。

  将估量的深度图与原图画结合,再履行3D检测使命的论文有许多[38,64,36,13]。

  深度图能转换成3D点云,这种办法被称为伪激光雷达(Pseudo-LiDAR)[59],或许直接用[61,65],或许结合图画信息[62,37]来生成3D方针检测成果。

  根据深度的办法在练习阶段将深度估量从三维方针检测使命中别离,导致还需求学习用于三维检测使命的次佳的深度地图。

  怎么了解上边这句话呢?**关于归于感兴趣的方针的像素,应该榜首先考虑获取准确的深度信息,而关于布景像素则不那么重要,假如深度估量和方针检测是独立练习的,则无法捕捉到这一特点。

  根据网格的办法经过猜测BEV网格表明(BEV grid representation)[48,55],来防止估量用做3D 查验测验结构输入的原始深度值。

  具体来说,OFT[48]经过将体素投射到图画平面和采样图画特征来填充体素网格,并将其转换为BEV表明。

  多个别素能够投影到同一图画特征上,导致特征沿着投影射线重复呈现,降低了检测精度。

  *博客内容为网友个人发布,仅代表博主个人自己的观念,如有侵权请联络工作人员删去。

查看更多