☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

来自中科院自动化所的团队提出 FreeVS，一个全生成式的新视角合成方法。相较于仅能在记录的车辆行驶原轨迹上渲染高质量相机视角的基于场景重建的方法，FreeVS 能够作为生成引擎渲染真实场景中任意车辆行驶轨迹下的视频。FreeVS 可被直接部署于任何测试场景，而无需负担通常耗时 2-3 小时的场景重建过程。

                             ^真实视频

                                ^{新轨迹下相机视频}

• 论文链接：https://arxiv.org/abs/2410.18079
• 项目主页：https://freevs24.github.io/

以生成模型合成真实场景中的相机成像

现有驾驶场景中的新视角合成方法多遵循「场景重建 - 新视角渲染」的管线，依靠重建得到的 NeRF 或 3D-GS 等场景表示来渲染新视角下的成像。

然而基于重建的方法具有两大瓶颈，1）无法合理渲染缺少对应观测的新视角上的图像，2）场景重建耗时长；这使得重建方法无法高效高质地在实际数据采集轨迹之外渲染大量新相机视图。

如简单的视角左右平移即会引起前有方法图像渲染质量的严重下降：

                               ^{与前有重建方法在原训练视角、训练视角右一米、训练视角上一米的视角合成效果对比。}

对此，作者提出一种新颖的完全基于生成模型的新视角合成方法 FreeVS。作者采用一简洁有效的生成管线，可严格基于已观测到的三维场景生成任意视角的相机观测，且无需进行场景重建。

                            ^{FreeVS 方法管线。生成模型基于染色点云投影恢复相机成像。}

作者采用从稀疏点云投影中恢复相机成像的生成管线，这使得生成模型的行为类似于 Inpainting 模型，基于稀疏但可靠的点云投影点补全目标图像。

在训练过程中，生成模型学习基于给定帧的三维先验生成邻近帧的相机成像。尽管训练数据中驾驶车辆在绝大多情况下走直线前行，但生成模型可沿车辆轨迹在侧向相机视角学习相机视角的横向移动。

Yaara

使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

95 查看详情

在测试阶段，以图像信息染色的场景三维点云被投影至任意所需视角，以控制图像生成结果。

^{FreeVS 方法训练数据与推理效果示例。即使训练数据中无车辆横向移动到逆行车道的例子，生成模型仍然可依靠侧向相机的训练对（（c）->（a））学习相机的侧向移动，从而生成合理的高质量成像 (f)。}

车辆行驶模拟与场景编辑

以 Waymo 数据集中的真实场景为例，FreeVS 能够在驾驶车辆原本并未移动的场景模拟车辆移动：

                              ^真实视频

                              ^{新轨迹下相机视频}

能模拟车辆变线行驶，甚至能秒变 GTA，使车辆撞向行人：

                              ^真实视频

                              ^{新轨迹下相机视频}

能在原本直行的场景令车辆走大 Z 型前进：

                               ^真实视频

                             ^{新轨迹下相机视频}

也能对场景内容进行编辑。任意替换场景车辆，或定制车辆运动。

                               ^真实视频

                               ^{场景编辑后相机视频}

                               ^真实视频

                              ^{场景编辑后相机视频}

与前有基于重建的方法比较，FreeVS 在新车辆运动轨迹下几乎不受图像模糊、伪影等现象困扰。

                             ^{FreeVS 与前有方法在新轨迹模拟的表现对比。}

新相机模拟

除新行驶轨迹下视角合成，FreeVS 还能合成虚拟相机位置上的成像。而前有基于重建的方法难以应对虚拟相机位置上全部观测的缺失。

                                ^{新相机模拟示意图}

                                 ^{FreeVS 与前有方法在新相机模拟的表现对比。}

以上就是把Waymo玩成GTA游戏！全生成式的车辆行驶轨迹视频合成器来了的详细内容，更多请关注其它相关文章！

# 视角合成  # 浙江最大的网站推广企业  # 云南seo代理哪家好  # 响应网站建设难不难  # 景中  # 句话  # 高质量  # 五大  # 能在  # 华纳  # 南极  # 车辆行驶  # 产业  # freevs  # 中科院自动化所  # git  # ai  # 邮箱  # follow  # type  # 来了  # 神技  # 安义网站优化推广  # 洛川关键词排名优化  # 巫山律师网站推广公司  # 清溪网站推广公司好  # 丰县信息化网站建设  # 无极数据seo服务诚信经营  # 江苏seo推广价格 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： manager是什么意思  如何更新typescript  j*a整形怎么转数组  市盈率tt的扣非是什么意思  焊机上power指示灯亮是什么意思  如何打开命令框  typescript怎么写call方法  手机nfc功能功能是什么意思  固态硬盘如何测试  虽千万人吾往矣什么意思  固态硬盘如何判断大小  如何为服务器配置静态路由？服务器配置静态路由详细教程  充电器上的power是什么意思  vivo手机nfc功能是什么意思  2025年国外最佳语音聊天软件排行榜  typescript入门要多久  酷我音乐怎么改每日推荐 酷我音乐每日推荐修改方法  ao3镜像网站永久地址入口  怎么在项目中使用typescript  typescript文件怎么打开  solidworks打开igs文件看不见要怎么办解决方法  苹果16哪些会降价的  如何在命令行写j*a程序  夸克po什么意思  J*a数组静态怎么打  油烟机上的power是什么意思  typescript怎么解析vue TypeScript在vue中的使用最新解读  广东春运抢票怎么抢的  复制 命令如何撤销  光猫power灯一直闪是什么意思  如何查看固态硬盘分区  win10如何开启命令行  如何把u盘改成固态硬盘  春运抢票准备什么  为什么有的夸克带电  一分钟等于多少秒  电瓶车充电器power是什么意思  j*a怎么处理json数组  video是什么意思  typescript与es6学哪个  如何创建解压文件命令  智能锁type-c接口是什么  typescript学会要多久  营收和gmv区别_营收和gmv有什么区别  征信信誉不好如何恢复 如何修复不良征信方法  如何使用命令行界面  md5解密是什么意思  typescript需要学多久  mac如何使用vi命令  165开头的是什么电话号码