当前位置:首页 > 系统it > 网络资讯
网络资讯

杰克逊跳舞秒变3D机器人!阿里又出新活儿,视频任何人可替换

时间:2024-01-18 09:33:35   作者:Admin辉辉   来源:51CTO网络   阅读:334   评论:0
内容摘要:这究竟是怎么回事?原来啊,阿里又整出新活儿——MotionShop,能将视频中的人物角色替换成3D形象,同时又不改变其他场景和人物。比如,打工仔小猪打太极。看到这有人已经迫不及待了。目前已在ModelScope社区开放试玩。还有人建议说在HuggingFace也安排一下,不然不懂中文的人怎么办啊~不过确实承认,最近阿里...

这究竟是怎么回事?

原来啊,阿里又整出新活儿——

MotionShop,能将视频中的人物角色替换成3D形象,同时又不改变其他场景和人物。

比如,打工仔小猪打太极。

看到这有人已经迫不及待了。目前已在ModelScope社区开放试玩。

图片

还有人建议说在HuggingFace也安排一下,不然不懂中文的人怎么办啊~

图片

不过确实承认,最近阿里的花活好多。

图片

可免费试玩

目前MotionShop可以免费试玩,只需三步即可完成:

上传视频——确定目标对象——选择要替换的虚拟对象。

不过实测的时候发现,需要注意几点。

首先上传这个视频,不能超过15秒,最好保证人物完整,而且也不能是剪辑而成。

换句话说,需要一镜到底,切换镜头就不行。

随后选择替换人物时,它会自动选择一个对象,然后看是否符合你的目标对象。

目前可替换的虚拟形象只有四个。

图片

最后就是比较漫长的排队等待时间……试用的人太多了吧。

图片

如何实现?

来自阿里的研究团队提出了用3D人物替换视频中角色的框架。

整个框架由两部分组成:

1、用于提取修复背景视频序列的视频处理管线;

2、用于生成3D人物视频的序列的姿态估计和渲染管线。

通过并行两条管线并使用高性能的光线追踪渲染器TIDE,整个过程能在

图片

具体分为七个步骤。

第一步,角色检测。使用基于Transformer融合文本信息与现有封闭集检测器,实现零样本对象检测。通过优势选择方法确定最终目标区域。

第二步,分割与追踪。成功检测到目标后,通过视频对象分割跟踪方法来像素级跟踪目标区域,这一方法是基于SAM模型的细化升级。

第三步,修补。视频剩下区域进行修补绘制。包括采用了递归流完成法来恢复损坏的流场,在图像域和特征域都采用了双域传播法来增强全局和局部的时间一致性。

第四步,姿态估计。采用姿态估计方法 CVFFS 来估计稳定的人体姿态。使用 SMPL 人体模型来表示三维人体。

第五步,3D人物生成。将估算出的形状和姿势重新映射到选定的三维模型上。

第六步,为了更自然真实的视觉效果,做进一步光线处理和渲染,让3D模型与原视频更融入。比如使用TIDE引擎来渲染新的 3D 模型。它与精确的材质系统相结合,并辅以运动模糊、时间抗锯齿和时间去噪等算法。

最后,将渲染图像与原始视频合成,生成最终视频。

感兴趣的朋友可戳下方链接:

https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

责任编辑:张燕妮来源: 量子位
#免责声明#

【声明】:辉辉网络登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱1665545192@qq.com,我们会在最短的时间内进行处理。

【声明】 本站提供的一切软件、教程和内容文章信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!


网站不盈利不挣钱,若有侵犯你的利益请联系删除,给你带来的不便,我们非常重视版权问题  邮箱:3653767872@qq.com




标签:任何  视频  阿里  跳舞  替换  
相关评论
免责声明! - 版权声明
Admin邮箱:3653767872@qq.com
  粤ICP备2023090474号