作者:小柠檬 | 来源:3DCV
在公众号「3DCV」后台,回复「原论文」可获取论文pdf
添加微信:dddvision,备注:Gaussian Splatting,拉你入群。文末附行业细分群
1、导读
本文提出了Splat-Nav,一个用于在Gaussian Splatting (GSplat)环境中实时、安全地导航的管道。这个管道包括一个实时的安全规划模块和一个健壮的状态估计模块。首先,作者制定了严格的碰撞约束,可以快速计算出通过地图的保证安全的多面体走廊。然后,优化一条通过这个走廊的B样条轨迹。作者还将GSplat表示解释为点云,从而开发出一个实时的、健壮的状态估计模块。这个模块使机器人能够通过RGB-D图像进行点云对齐进行全局定位,然后通过RGB图像进行图像到点云的局部定位来跟踪其在场景中的移动。所有的这些模块主要都在CPU上运行,从而释放GPU资源用于实时场景重建等任务。 在模拟和硬件环境中,作者证明了他们管道的安全性和健壮性,展示了5Hz的重新规划能力和20Hz的姿态估计能力,比基于神经辐射场(NeRF)的导航方法快一个数量级,从而实现了实时导航。
2、主要贡献
3、方法
Splat-Nav系统主要由以下两个模块组成:
Splat-Plan模块:用于生成安全轨迹,通过快速碰撞检测和生成安全走廊来实现。 Splat-Loc模块:用于定位机器人,利用点云对齐和图像到点云的定位来实现。
3.1、Splat-Plan模块是如何工作的?
Splat-Plan模块的工作流程如下:
总的来说,Splat-Plan模块通过利用Gaussian Splatting的几何表示,快速进行碰撞检测,生成安全走廊,并通过优化算法生成平滑的轨迹。
3.2、Splat-Loc模块是如何进行点云对齐和图像定位的?
Splat-Loc模块的工作流程如下:
1、点云对齐:
2、图像定位:
Splat-Loc模块通过这些步骤实现了从无先验知识的情况下进行全局定位,并在运动过程中进行实时位姿跟踪。
4、实验结果
我们检查导航和姿态估计管道中每个组件的性能,并进行消融研究,将我们的算法与现有方法进行比较。我们在一个合成场景巨石阵和两个真实场景(从真实RGB图像训练)雕像和飞行室中评估我们提出的姿态估计器,如图3所示。
根据论文的实验结果,Splat-Nav在仿真和实际机器人上展示了以下重要性能:
表1:splat-loc中姿态初始化模块的性能 表2:δR=20°和δt=0.1m的雕像场景中姿态估计算法的比较 表3:δR=30°和δt=0.5m的雕像场景中姿态估计算法的比较
综上所述,Splat-Nav在仿真和实际场景中展现了其安全性和实时性,验证了该导航框架的有效性。
5、结论
Splat-Nav是一个在GSplat环境表示下实现机器人安全导航和姿态估计的新框架。通过提出高效的安全碰撞检测和利用GSplat作为点云进行姿态估计,Splat-Nav实现了比基于NeRF的导航更快、更可靠的导航效果。在仿真和实际机器人上的实验验证了其安全性和实时性。因此,本文提出了首个在GSplat表示下进行导航和定位的框架,展现了该表示在机器人导航中的巨大潜力。
3D视觉精品课程:
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪。
3D视觉学习圈子
3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括:星球视频课程近20门(价值超6000)、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球,一起学习进步。
3D视觉交流群
目前工坊已经建立了3D视觉方向多个社群,包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机等方向,细分群包括:
工业3D视觉:相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM:视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶:深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建:3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机:四旋翼建模、无人机飞控等
除了这些,还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加v: dddvision,备注:研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 拉你入群。