最近,这支团队一项根据DiT架构的可控人像视频生成技能DreamActor-M1,一经发布,又在推特上引起了超百万量级的重视——
仅需一张静态相片和一段驱动视频,便可生成高质量、到达电影等级的视频,将人像视频生成的体现力提升至全新水平!
DreamActor-M1不仅仅可以保存原图中的身份特征,还能精准捕捉并搬迁驱动视频中的动作和表情,呈现出高度传神的作用,极大地简化了现有的动作捕捉、人物动画以及内容发明流程。
据悉,Omnihuman-1技能已使用于即梦数字人玩法的「大师形式」而DreamActor-M1模型也将于近期上线即梦AI,用户将可以在「数字人」-「动作仿照」功用验新模型。比较已有的动作仿照作用,在生成内容传神度、画风支撑、画面份额支撑等多个视点将大幅优化。
与以往办法不同,DreamActor-M1选用多操控信号混合驱动架构,可以精准复原从目光等细腻表情到肢体动作的各类体现,可驱动从真人到卡通的不同形象,支撑从肖像画幅到全身画幅的多种画幅,明显地增强了单图视频驱动才能的体现力与易用性。
在表情搬迁方面,该体系运用隐式Face Motion Tokenizer,经过对很多人像视频进行自监督练习,完结对表情细节的精准建模。
在动作搬迁方面,选用3D头部球体和3D身体骨架,可以支撑各种风格人物的肢体动作精准搬迁。
在画幅支撑方面,DreamActor-M1根据DiT架构,并经过很多数据来进行多阶段练习,可精准复刻各种画幅镜头,为用户更好的供给了更宽广的发明空间。
相较于其他SOTA动作搬迁和表情搬迁作业,DreamActor-M1在人物ID坚持、动作表情复原、视频生成质量方面都有着更好体现,为高效完结高品质内容发明发明了新的可能性。
模型上线即梦AI后,渠道将对视频内容做严厉的安全审阅,并对输出视频增加「AI生成」水印,即梦AI现有的「动作仿照」功用也要求用户上传视频资料需保证具有合法授权。
字节跳动智能发明团队是字节跳动AI&多媒体技能中台,经过建造抢先的计算机视觉、音视频修改、特效处理等技能,支撑抖音、剪映、头条等公司内很多产品线;一起为外部ToB合作伙伴供给业界最前沿的智能发明才能与职业解决方案。
其间数字人团队专心于建造职业抢先的数字人生成和驱动技能,丰厚智能发明内容生态。该团队的OmniHuman-1 、PersonaTalk、Loopy、CyberHost等前沿立异的数字人效果均已在即梦AI快速使用,未来还将继续经过即梦AI为用户所带来别致和惊喜的体会。
单位呈现古怪现象:领导和搭档像团体约好的相同,一过55岁就开端喜爱独来独往了
【教育重视】高考呈现“神仙卷面”,笔迹整齐美丽,阅卷教师:看到就想打满分!
湖北交通出资集团有限公司揭露招聘!还有包吃住、8小时作业制等福利岗位~
《编码物候》展览开幕 北京年代美术馆以科学艺术解读数字与生物交错的世界节律