8月28日,高德近日发布首个无长程依赖的万帧级流式3D重建模型ABot Recon。该模型仅凭连续12帧局部画面,即可实时重建上万帧的3D场景,无需长程记忆锚点。在KITTI、Oxford Spires、VBR等权威评测中,该模型取得最低误差的SOTA表现。

模型采用局部位姿预测加残差优化的技术路径,仅以最近12帧连续画面作为局部上下文窗口,预测当前相机坐标系下的局部点云与相邻两帧间相对位姿,计算复杂度与内存占用不随视频长度增长,解决了传统长视频3D重建中记忆负担随序列累积的难题。
针对局部预测的误差累积,模型在预测与训练端分别设计了纠偏和误差约束机制。在Oxford Spires基准测试中,模型平均轨迹误差较行业代表方法降低40.6%,相对旋转误差低至0.12度,为同类方法最优。在KITTI数据集的02序列测试中,推理速度达24.45FPS,为行业代表方法的1.24倍。峰值显存占用约6.71GB,约为同类模型的三分之一,可在GTX 1080Ti消费级显卡上运行。
该模型仅需单目RGB视频输入,无需额外深度传感器或已知相机参数,大幅降低了3D重建的硬件门槛。高德已在GitHub开源推理及评测代码和权重,并在魔搭社区上线体验专区。
从应用前景看,流式3D重建是自动驾驶、机器人导航、增强现实与数字孪生等领域的关键基础能力。该模型以轻量化的方式实现万帧级场景重建,配合消费级显卡即可运行,有望推动3D重建技术从实验室走向更广泛的实际应用场景。
对高德而言,发布底层3D重建模型的意义不止于技术展示。地图与导航场景中,道路、建筑与街景的实时三维化是提升导航体验与构建高精地图的关键环节。将模型开源并上线体验专区,既有助于吸引开发者共建生态,也能为自身在空间智能领域的布局积累技术与口碑。可以预见,随着端侧算力的持续提升,单目视频驱动的实时3D重建将逐步成为智能设备的基础能力,率先跑通技术闭环的厂商将在下一阶段竞争中占得先机。文章与图片内容转载网络,如有侵权请联系平台删除

发表评论 取消回复