国产AI震撼逆袭:Vidu如何挑战Sora霸主地位?

科技 2024-04-29 12:08 阅读:

Sora问世以来,无数人都为其神奇的视频生成能力惊叹。如今,国产版的“Sora”也终于要来了!生数科技联合清华大学最新发布的视频大模型「Vidu」,挑战着Sora的霸主地位。Vidu是国内第一个长时长、高一致性、高动态性的视频大模型,支持一键生成长达16秒、分辨率达1080p的高清视频内容,成为了国内与Sora最接近的视频大模型。

Vidu之所以能挑战Sora的地位,是因为它与Sora一样,都抓住了视频生成的精髓——对现实世界物理规律的模拟。在视频生成过程中,Vidu能够准确模拟物体的位移和变化,使得画面效果高度一致,没有突变或抖动,让人看着十分流畅、舒坦。

Vidu团队在短短两个月内追平Sora的关键在于他们自研的U-ViT架构。这个架构早在2022年9月就被提出,是全球首个Diffusion和Transformer融合的架构。U-ViT架构的关键之处在于将视频生成过程中的每一帧画面看成是一个个抽象的“拼图”,通过“Token”来处理数据,使得生成视频画面变得既快又讲究。此外,U-ViT还引入了“长跳连接”,减少了信息在传递过程中的损失和变形,为生成高质量视频打下了坚实基础。

视频AI的发展不仅仅是为了拍短视频,它还将带来巨大的经济增量。在影视娱乐行业,导演、编剧们可以直接用AI生成虚拟人物和场景,提高特效制作效率。此外,视频AI生成的片段和场景还可以用于训练机器人或无人驾驶汽车,提高生产效率。最终,视频AI有可能成为具有预知未来能力的“世界模型”,为各种情况进行推演与预测。

https://www.jincai100.comVidu的出现不仅是对Sora霸主地位的挑战,更是视频AI技术发展的一个重要里程碑。随着视频AI的不断进步,我们将迎来一个全新的数字化时代。