在线 Gaussian Splatting 直接进 VR 逛,还能语音问场景里有什么

拆一下 AnythingReality 这套东西,它其实是把几件事捏到了一块:

  1. 位姿:ORB-SLAM3 做位姿估计。它不假设你手里有干净深度或外部位姿,冲的就是嘈杂的真实数据,这点跟一般方法不一样。
  2. 重建:同时在线跑 Gaussian splatting,不用等离线算完。
  3. VR 漫游:一边重建,一边就能沉浸式地逛进去。
  4. 语义:挂了个语义模块,你语音下指令,它负责转写、生成场景描述,再把兴趣点记下来。

论文给的数:自采数据集上 PSNR +14.5%、SSIM +8.6%、LPIPS -14.3%;TUM-RGBD 上 PSNR +11.7%。帧率靠质量-速度档位来调,能做到相当甚至更好。VLM 物体识别率 88%。

我平时做空间漫游和现场扫描重建,最在意的就是边扫边看这条链路。道理很简单:重建结果能在现场看到,哪里没扫到、哪里糊了当场就知道,可以当场补。所以挺有想象空间。

不过真实工地跟论文场景是两回事,运动模糊和反光材质一多,在线重建能不能扛住还不好说,得看实测。

在线重建还能保住帧率进 VR,这个工程量不小 :fire:

ORB-SLAM3 在弱纹理墙面容易丢位姿,真实场景没那么理想

88% 识别率听着不低,但漏的 12% 在交互里就很出戏

自采数据集上的提升要小心,换个场景就未必了