在线 Gaussian Splatting 直接进 VR 逛,还能语音问场景里有什么

这套 AnythingReality 把几件事捏一块了:ORB-SLAM3 做位姿估计,同时在线做 Gaussian splatting 重建,然后 VR 里能一边重建一边沉浸式逛,还挂了个语义模块——你语音下指令,它转写、生成场景描述、把兴趣点记下来。

跟一般假设有干净深度或外部位姿的方法不同,它是冲着嘈杂的真实数据去的。论文给的数据是在自采数据集上 PSNR +14.

5%、SSIM +8.6%、LPIPS -14.3%,TUM-RGBD 上 PSNR +11.7%,帧率还能靠质量-速度档位调到相当甚至更好,VLM 物体识别率 88%。

对我做空间漫游和现场扫描重建来说,边扫边看这个链路挺有想象空间,就是真实工地那种运动模糊和反光材质能不能扛住,还得看实测。

在线重建还能保住帧率进 VR,这个工程量不小 :fire:

ORB-SLAM3 在弱纹理墙面容易丢位姿,真实场景没那么理想

88% 识别率听着不低,但漏的 12% 在交互里就很出戏

自采数据集上的提升要小心,换个场景就未必了