最新公告
  • 欢迎您光临IO源码网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 你好,这是微视AI还原的李焕英

      鱼羊发自凹非寺

      量子位报道公众号 QbitAI

      看,李焕英这亲切的笑容、明亮的眼眸,是否与银幕上那个她一样有感染力?

      你的长辈年轻时,又是否像这张老照片里的人一样,剑眉星目,神采飞扬:

      要说最近最火的 AI 玩法,那真是非腾讯微视“会动的老照片”这类特效莫属。

      表情迁移技术与基于 GAN 的老照片修复技术强强联合,给人一种打开了时光机的感觉,仿佛真的能与老照片里的人隔空对话,追忆往昔。

      △“我的女儿,我就要她健康快乐”

      并且用户无需任何加工,只需在微视 APP 里上传一张照片,不到一分钟,都能亲自开启这样的“时间魔法”。

      这不,一经上线,就吸引了 15 万用户体验,视频播放量高达 5800 万。

      更有不少网友在看到这样特效后直接泪目:

    麻瓜的魔法

      说起来,让照片动起来的“魔法”,在 2019 年就曾带起一波时尚风潮,令网友直呼“哈利波特”。

      比如,来自意大利特伦托大学的一篇 NeurIPS 2019 论文,就介绍了一种名为一阶运动模型(First Order Motion Model)的方法。

      通过运动估计模块和图像生成模块,这个 AI 能让川建国和《冰与火之歌》里的史塔克们实现眨眼、摇头神同步。

      除了“会动的老照片”,基于这类技术,腾讯微视上还能这样玩:

      一键让清朝皇帝们齐唱画画的 baby。

      而围绕图像生成,AI 这种麻瓜的魔法能实现的效果,当然还不止如此。

      正如前文所提到的,要实现“会动的老照片”这一特效,除了动态的部分,在提升清晰度方面,也少不了 GAN 的功劳——这也是近年来人脸特效方面最热的课题之一。

      单单基于 GAN,腾讯微视上就还有这样的玩法:

      做人嘛,最重要就是开心。对着镜头笑不出来?AI 分分钟帮你打造完美笑容。

      减龄 10 岁,也不在话下。

      还能秒变欧美脸。

      不过,虽然以上方法相关的开源代码不少,但想把它集成到一个手机 App 里,仍然需要在算法优化和工程实践上下功夫打磨。

      具体腾讯微视是如何实现的呢?

      首先,在生成模型方面,技术团队针对不同场景,先后研发迭代了三种大模型:

      在非成对数据比较丰富的场景下,基于 CycleGAN 思想,打造能够实现有条件生成的 Cycle-StyleGAN 模型。

      在只有少量非成对数据的真实人脸生成场景中,采用基于隐向量的属性编辑思想,利用如 StyleGAN 这样的预训练生成模型,在隐向量空间中找出代表目标属性的方向向量,以实现对眉毛、眼睛这样的面部属性的控制。

      而在只有少量非成对数据的风格化场景中,技术团队提出了基于小样本的模型融合方法。主要思想是,在收集的少量数据上对预训练模型进行微调,然后,将微调后的模型与原始模型融合得到一个混合模型,这样,该模型既能生成目标风格的图片,又兼具原始预训练模型强大多样的生成能力。

      而在动作迁移方面,技术团队实现了实时的轻量化人脸动作迁移。

      具体而言,在大模型层面,技术人员借鉴 Monkey-Net 和一阶运动模型等所采用的基于关键点轨迹的反向光流预测方法,先以无监督形式估计每一对关键点的位置,得到稀疏动作光流,再预测加权掩膜得到稠密动作光流。

      而为了实现更强的变形能力和动作建模能力,技术人员还引入了透视变换项,使得稀疏动作光流可以学习到更加复杂的变换类型。

      而为了实现手机端的实时推断,技术团队还进行了小模型层面的优化:

    • 网络结构优化。对于模型中的各个模块,借鉴 GhostNet 分别设计相应的小模型结构,从而将模型大小缩减 99.2%,GFLOPs 降低 97.7%。
    • 分阶段蒸馏训练。如果直接从零开始训练小模块,模型将无法收敛,主要是因为模块之间为串行关系,前者的输出将作为后者的输入,因此需要采取分阶段训练的策略。同时,引入知识蒸馏的思想,使得小模型可以成功学习到大模型的能力。
    • 工程优化。例如缓存模型当中,需要重复使用的一些常量、优化代码逻辑、节省推断时无需重复进行的步骤等。同时,手机端的部署和实时推理均借助腾讯自研的 TNN 推理框架实现,测试结果显示,对比其他框架,在大部分场景下 TNN 具有一定提速增效的优势。

      相关技术人员还透露,针对不同配置的手机,他们进行了有针对性的分档优化。从效果上来看,即使是配置较低的千元机,也能以 15FPS 以上的帧率流畅运行老照片修复这样的特效。

      最潮的 AI,也可以低门槛

      以上算法实现,均来自腾讯微视拍摄算法团队和腾讯平台与内容事业群(PCG)应用研究中心共同研发。

      腾讯微视拍摄算法团队致力于图像/视频方向的技术探索,并依托丰富的业务场景,一直在探索前沿 AI 和 CV 算法在内容生产和消费领域的应用和落地。应用研究中心则被称作腾讯 PCG 的“侦察兵”、“特种兵”,站在腾讯探索、挑战智能媒体相关前沿技术的第一线。

      通常而言,特效算法的更新换代节奏很快,从研发到上线,周期大概在 1 到 1 个半月之间。团队成员也坦言:推动技术落地产出,让用户能够低成本、第一时间上手体验,是团队最看重的目标。

      但这并不意味着快速迭代是这支技术团队唯一的节奏。

      实际上,对前沿技术的主动出击、长期关注正是其技术底气的来源:

    对于更加前沿、更有难度的算法,以及一些不常见的模型效果,我们会投入5-6 个月甚至更长的时间去攻坚克难。

    在这个过程中,团队会把从算法到工程的框架全部搭好。而这些积累,也就是后续项目能够快速上线的基石。

      而多种多样新 AI 玩法的灵感,同样来源于这样对学术前沿、热点的持续关注。

      同时,也离不开这样的初衷:

      让最潮的 AI 玩法,以最低的门槛跟用户见面。

      — 完 —

    *** 次数:10600 已用完,请联系开发者***

    1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!384324621@qq.com
    2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理,有奖励!
    3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
    4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有★币奖励和额外收入!

    IO 源码网 » 你好,这是微视AI还原的李焕英

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    IO源码吧
    一个高级程序员模板开发平台

    发表评论

    • 75会员总数(位)
    • 10312资源总数(个)
    • 81本周发布(个)
    • 0 今日发布(个)
    • 378稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情