Google 团队开发出一种可流式传输,实时创建非常逼真的三维场景的技术:SMERF
SMERF 能够在最大300平米的房间内渲染出非常细致的图像,精度达到厘米级别。
最牛P的是,它只在普通智能手机和笔记本电脑就能进行60 fps 或更高的速度实时渲染,并提供完整的六自由度(6DOF)3D导航体验。
SMERF 旨在解决实时视图合成的挑战,特别是在渲染大型、近照片级真实场景时的性能和质量问题。
主要特点:
- 实时渲染大型场景:SMERF 能够快速生成大型三维场景的图像,如室内空间或户外环境,而且几乎没有延迟。SMERF 能够在大场景(最大 300 平方米)中实现实时、高保真的视图合成。
- 高效的内存使用:它使用高效的方法来处理数据,使得即使在内存有限的设备上也能流畅运行。包括普通的智能手机和笔记本电脑。
- 高质量的图像:生成的图像质量高,细节丰富,接近照片级真实感,精度达到厘米级别。
- 六自由度(6DOF)导航:用户可以在三维场景中自由移动,包括向上、向下、向左、向右、前进和后退,以及围绕三个轴旋转。
技术创新:
1、分层模型划分方案:SMERF 采用了一种分层的模型划分方法。这意味着它将大型场景分解成多个层次或部分,每个部分单独处理,从而提高了处理效率和渲染速度。
2、蒸馏训练策略:蒸馏训练是一种机器学习技术,它涉及将知识从一个大型、复杂的模型(教师模型)转移到一个更小、更高效的模型(学生模型)。这种策略有助于提高模型的性能,同时保持较低的计算成本。
项目及演示:https://t.co/NoWSMsoMVu
论文:https://t.co/PrYor65Z9e