能让马斯克跳“科目三”的“全民舞王”要火了吗?

  • 发表时间:
    , 文章来源:JieMian, 新闻取自各大新闻媒体,新闻内容并不代表本网立场

    图片来源:视觉中国图片来源:视觉中国(photo:JieMian)
    图片来源:视觉中国图片来源:视觉中国(photo:JieMian)

    界面新闻记者 | 于浩

    只要上传一张真人或动漫照片,即可免费生成一段舞蹈视频,来上一段“科目三”或者鬼步舞。

    这是生成式AI应用的最新玩法,社交媒体上已经有各路名人扭动腰肢,为网友“跳起”网红舞蹈,其中不乏马斯克、二次元人物如毛利小五郎等等。

    此类视频是阿里云通义千问APP上线的一项新功能,主要基于其自研视频生成AI模型Animate Anyone而来。用户根据提示上传照片后,十分钟左右即可让照片“舞动”起来。目前该功能不设门槛,用户在通义千问APP内输入“通义舞王”、“全民舞王”等关键词后,即可进入体验页面。

    这一功能和去年7月曾挤爆服务器的妙鸭类似,都是通过输入照片来实现各种AI应用效果。不同的是,妙鸭最初需要付费生成AI美化后的静态照片,而“全民舞王”是自动生成动态的舞蹈视频。除“科目三”外,通义千问还提供了“DJ慢摇”、“鬼步舞”、“蒙古舞”等模版。

    以图片生成视频一直是AIGC(生成式AI)应用的主要方向之一,也是多模态能力落地的重点。由于其强大的生成能力,扩散模型已成为视觉生成研究的主流。但在图生视频领域,如何在动画中保持与角色前后细节上的一致性仍是技术难点。

    去年11月,阿里曾发布了Animate Anyone相关的技术论文,提出了围绕角色动画展开的新框架。论文中表示,引入有效的姿势引导器来指导角色的运动,并采用有效的时间建模方法,以此确保视频帧与帧之间平滑过渡。

    几乎在同一时期,新加坡国立大学和字节跳动联合推出了Magic Animate相关论文,内容同样是将静态图像转变为动态视频的技术路线。除国内大厂外,国外科技企业如Meta、Stable AI也曾推出文生视频应用,足见各家对于视频生成应用的重视程度。

    但与相对成熟的文生图类产品相比,视频生成对算力、数据的要求更高,多领域融合技术复杂性也更大。想要实现该项技术的商业化落地并不容易。

    参考图片生成类应用的发展历程,国内外都曾出现过引发热议的现象级产品,如妙鸭相机。但随着热度散去,此类应用都将面临着用户拉新与留存的难题。移动应用数据分析平台七麦数据的最新报告显示,目前妙鸭相机在社交类应用中排名35名,预估近30日日均下载量为5002次,与其爆火时的30万次峰值相比跌幅明显。

    而此次引发热议的“让照片跳舞”功能还仅仅停留在满足用户新奇感,吸引人们下载软件的阶段。如果将该项技术应用于生产力工具方向,像线上零售、娱乐视频、艺术创作和虚拟角色等等场景或许都会出现相关需求。短期内如何抓住流量热点,跑通商业模式,是此类应用能否赢得生存空间的关键。

    界面新闻记者 | 于浩

    只要上传一张真人或动漫照片,即可免费生成一段舞蹈视频,来上一段“科目三”或者鬼步舞。

    这是生成式AI应用的最新玩法,社交媒体上已经有各路名人扭动腰肢,为网友“跳起”网红舞蹈,其中不乏马斯克、二次元人物如毛利小五郎等等。

    此类视频是阿里云通义千问APP上线的一项新功能,主要基于其自研视频生成AI模型Animate Anyone而来。用户根据提示上传照片后,十分钟左右即可让照片“舞动”起来。目前该功能不设门槛,用户在通义千问APP内输入“通义舞王”、“全民舞王”等关键词后,即可进入体验页面。

    这一功能和去年7月曾挤爆服务器的妙鸭类似,都是通过输入照片来实现各种AI应用效果。不同的是,妙鸭最初需要付费生成AI美化后的静态照片,而“全民舞王”是自动生成动态的舞蹈视频。除“科目三”外,通义千问还提供了“DJ慢摇”、“鬼步舞”、“蒙古舞”等模版。

    以图片生成视频一直是AIGC(生成式AI)应用的主要方向之一,也是多模态能力落地的重点。由于其强大的生成能力,扩散模型已成为视觉生成研究的主流。但在图生视频领域,如何在动画中保持与角色前后细节上的一致性仍是技术难点。

    去年11月,阿里曾发布了Animate Anyone相关的技术论文,提出了围绕角色动画展开的新框架。论文中表示,引入有效的姿势引导器来指导角色的运动,并采用有效的时间建模方法,以此确保视频帧与帧之间平滑过渡。

    几乎在同一时期,新加坡国立大学和字节跳动联合推出了Magic Animate相关论文,内容同样是将静态图像转变为动态视频的技术路线。除国内大厂外,国外科技企业如Meta、Stable AI也曾推出文生视频应用,足见各家对于视频生成应用的重视程度。

    但与相对成熟的文生图类产品相比,视频生成对算力、数据的要求更高,多领域融合技术复杂性也更大。想要实现该项技术的商业化落地并不容易。

    参考图片生成类应用的发展历程,国内外都曾出现过引发热议的现象级产品,如妙鸭相机。但随着热度散去,此类应用都将面临着用户拉新与留存的难题。移动应用数据分析平台七麦数据的最新报告显示,目前妙鸭相机在社交类应用中排名35名,预估近30日日均下载量为5002次,与其爆火时的30万次峰值相比跌幅明显。

    而此次引发热议的“让照片跳舞”功能还仅仅停留在满足用户新奇感,吸引人们下载软件的阶段。如果将该项技术应用于生产力工具方向,像线上零售、娱乐视频、艺术创作和虚拟角色等等场景或许都会出现相关需求。短期内如何抓住流量热点,跑通商业模式,是此类应用能否赢得生存空间的关键。