首个基于Gaussian Splatting环境表示的机器人导航和姿态估计框架

   日期:2024-12-23    作者:ira0v 浏览:64    移动:http://w.yusign.com/mobile/quote/3492.html

作者:小柠檬 | 来源:3DCV

在公众号「3DCV」后台,回复「原论文」可获取论文pdf

添加微信:dddvision,备注:Gaussian Splatting,拉你入群。文末附行业细分群

1、导读

本文提出了Splat-Nav,一个用于在Gaussian Splatting (GSplat)环境中实时、安全地导航的管道。这个管道包括一个实时的安全规划模块和一个健壮的状态估计模块。首先,作者制定了严格的碰撞约束,可以快速计算出通过地图的保证安全的多面体走廊。然后,优化一条通过这个走廊的B样条轨迹。作者还将GSplat表示解释为点云,从而开发出一个实时的、健壮的状态估计模块。这个模块使机器人能够通过RGB-D图像进行点云对齐进行全局定位,然后通过RGB图像进行图像到点云的局部定位来跟踪其在场景中的移动。所有的这些模块主要都在CPU上运行,从而释放GPU资源用于实时场景重建等任务。 在模拟和硬件环境中,作者证明了他们管道的安全性和健壮性,展示了5Hz的重新规划能力和20Hz的姿态估计能力,比基于神经辐射场(NeRF)的导航方法快一个数量级,从而实现了实时导航。

2、主要贡献

    3、方法

    Splat-Nav系统主要由以下两个模块组成:

    Splat-Plan模块:用于生成安全轨迹,通过快速碰撞检测和生成安全走廊来实现。 Splat-Loc模块:用于定位机器人,利用点云对齐和图像到点云的定位来实现。

    3.1、Splat-Plan模块是如何工作的?

    Splat-Plan模块的工作流程如下:

      总的来说,Splat-Plan模块通过利用Gaussian Splatting的几何表示,快速进行碰撞检测,生成安全走廊,并通过优化算法生成平滑的轨迹。

      3.2、Splat-Loc模块是如何进行点云对齐和图像定位的?

      Splat-Loc模块的工作流程如下:

      1、点云对齐:

        2、图像定位:

          Splat-Loc模块通过这些步骤实现了从无先验知识的情况下进行全局定位,并在运动过程中进行实时位姿跟踪。

          4、实验结果

          我们检查导航和姿态估计管道中每个组件的性能,并进行消融研究,将我们的算法与现有方法进行比较。我们在一个合成场景巨石阵和两个真实场景(从真实RGB图像训练)雕像和飞行室中评估我们提出的姿态估计器,如图3所示。

          根据论文的实验结果,Splat-Nav在仿真和实际机器人上展示了以下重要性能:

            表1:splat-loc中姿态初始化模块的性能 表2:δR=20°和δt=0.1m的雕像场景中姿态估计算法的比较 表3:δR=30°和δt=0.5m的雕像场景中姿态估计算法的比较

            综上所述,Splat-Nav在仿真和实际场景中展现了其安全性和实时性,验证了该导航框架的有效性。

            5、结论

            Splat-Nav是一个在GSplat环境表示下实现机器人安全导航和姿态估计的新框架。通过提出高效的安全碰撞检测和利用GSplat作为点云进行姿态估计,Splat-Nav实现了比基于NeRF的导航更快、更可靠的导航效果。在仿真和实际机器人上的实验验证了其安全性和实时性。因此,本文提出了首个在GSplat表示下进行导航和定位的框架,展现了该表示在机器人导航中的巨大潜力。

            3D视觉精品课程:

            3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪。

            3D视觉学习圈子

            首个基于Gaussian Splatting环境表示的机器人导航和姿态估计框架

            3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括:星球视频课程近20门(价值超6000)项目对接3D视觉学习路线总结最新顶会论文&代码3D视觉行业最新模组3D视觉优质源码汇总书籍推荐编程基础&学习工具实战项目&作业求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球,一起学习进步。

            3D视觉交流群

            目前工坊已经建立了3D视觉方向多个社群,包括SLAM工业3D视觉自动驾驶三维重建无人机等方向,细分群包括:

            工业3D视觉:相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

            SLAM:视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

            自动驾驶:深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

            三维重建:3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

            无人机:四旋翼建模、无人机飞控等

            除了这些,还有求职硬件选型视觉产品落地最新论文3D视觉最新产品3D视觉行业新闻等交流群

            添加v: dddvision,备注:研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 拉你入群。

            本文地址:http://w.yusign.com/quote/3492.html    述古往 http://w.yusign.com/static/ , 查看更多

            特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


            举报收藏 0评论 0
            0相关评论
            相关行情
            推荐行情
            点击排行
            {
            网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号