微软的一个视频生成项目 Mora，利用 Agents 来复原 Sora 的能力，基本还原了 Sora 所有的能力，目前支持生成 1024*576 分辨率的 12 秒视频。还原的能力包括：1）将文本转换为视频2）根据文本条件将图片转换为视频3）扩展已生成的视频4）进行视频到视频的编辑5）串联视频以及6）模拟数字世界…

发布时间: 2024-03-21 12:32:44

1分

数据加载中

关注推特

收听电报

2

1

0

微软的一个视频生成项目 Mora，利用 Agents 来复原 Sora 的能力，基本还原了 Sora 所有的能力，目前支持生成 1024*576 分辨率的 12 秒视频。
还原的能力包括：
1）将文本转换为视频
2）根据文本条件将图片转换为视频
3）扩展已生成的视频
4）进行视频到视频的编辑
5）串联视频以及
6）模拟数字世界…
IT技术
( twitter.com )

8个月前由歸藏提交

微软的一个视频生成项目 Mora，利用 Agents 来复原 Sora 的能力，基本还原了 Sora 所有的能力，目前支持生成 1024*576 分辨率的 12 秒视频。

还原的能力包括：

1）将文本转换为视频
2）根据文本条件将图片转换为视频
3）扩展已生成的视频
4）进行视频到视频的编辑
5）串联视频以及
6）模拟数字世界

项目简介：

本论文提出了一种新型的多AI智能体框架——Mora。Mora融合了多个尖端视觉AI智能体，致力于复刻Sora所展示的通用视频生成能力。

具体来说，Mora能够运用多个视觉智能体，在多种任务中成功模仿Sora的视频生成能力。

我们的广泛实验结果显示，Mora在这些任务上的表现已经接近Sora。然而，如果从整体上评估，我们的模型与Sora之间还是存在一定的性能差距。

总的来说，我们希望这个项目能够引领未来视频生成技术的发展方向，通过多AI智能体的协同工作来实现。

论文地址：https://t.co/tat40SkqG4

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

看微软的黑科技，一张照片+音频就可以生成一段以假乱真的视频
相关项目地址：
IT技术
( www.microsoft.com)

7个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:00:15

2

2

1

1

StreamingT2V一个可以生成超过 2 分钟长视频（1200 帧）的项目。
而且还会开源，开原生态的长视频生成有救了？
项目介绍：…
IT技术
( twitter.com)

8个月前 • 歸藏 • -- 点击 0 评论

3

3

2

2

#AI开源项目推荐：SadTalker

一个可以用照片生成视频的的程序，有Stable Diffusion插件，生成好图片后可以再生成视频。

从演示视频来看还是有点生硬，另外似乎不会眨眼？

B站上有这个程序的中文教程：…
推特中文圈

开源推荐
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

4

2

1

1

#AI开源项目推荐 subtitler
不需要上传视频到服务器，直接在浏览器端就可以语音转录成文本字幕，以及对转录的字幕编辑，生成带字幕视频的开源网站。语音转字幕利用的是 WebGPU，在浏览器端执行 Transformer + Whisper 模型（目前只能支持 tiny 和 base 模型）。视频生成是基于一个库叫
IT技术
( twitter.com)

4个月前 • 宝玉 • -- 点击 0 评论

5

5

4

4

#AI开源项目推荐：wav2lip

可以音频输入生成口型同步视频。

项目首页：
代码仓库：
论文：

视频来源：

IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:01:06

6

2

1

1

视频的 “扩图” 模型也来了！这个用处可太太太太太大了！
项目：
论文：
注：视频来自项目页
时政
( twitter.com)

8个月前 • -Zho- • -- 点击 • 下载视频 0 评论

00:01:41

7

2

1

1

Meta 发布了一个文字对视频进行编辑的项目：Fairy。
主要的优势除了一致性和真实度之外，还有极高的生成效率。
只需要14秒就可以生成120帧512x384的视频（30 FPS，持续4秒）。比之前的同类项目快 44 倍。
官方简介：
Fairy，这是一种简约而强大的图像编辑扩散模型的改进版本，用于视频编辑应用。…
IT技术
( twitter.com)

11个月前 • 歸藏 • -- 点击 • 下载视频 0 评论

00:00:44

8

2

1

1

来自最近挺火的生成视频软件finalframe创始人
Sora 的视频预览让人无话可说。
这是一项出色的、改变世界的工作。
这使得 Stability 当前的视频级别看起来就像一个玩具。

IT技术
( twitter.com)

9个月前 • Will • -- 点击 • 下载视频 0 评论

00:00:20

9

2

1

1

谷歌也发布了一个根据输入图片和音频就能生成对应人物讲话视频的项目VLOGGER。看起来没有阿里那个自然。
项目简介：
它可以根据一张人物图像,生成由文本和音频驱动的说话人视频。该方法建立在最近生成式扩散模型取得成功的基础之上。
VLOGGER 包含两个关键组件:
1) 一个随机的人体到 3D…
IT技术
( twitter.com)

8个月前 • 歸藏 • -- 点击 • 下载视频 0 评论

00:00:14

0.13229 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特