最新公告
  • 欢迎您光临IO源码网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 谷歌发布TF新工具:计算速度提升2倍,减少无效参数

      萧箫发自凹非寺

      量子位报道公众号 QbitAI

      一顿操作后,需要实时模糊背景的视频,看起来流畅了不少:

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      实时目标检测的延迟也更低了:

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      这是谷歌特意为移动设备和 Web 端开发的一系列新工具,可以在几乎不影响 AI 模型推理准确性的同时,“修剪”模型大小,以提升模型推理速度。

      最好的情况下,能将 AI 模型的推理速度提升 2 倍,模型大小“缩水”一半。

      这是怎么做到的?

      “抽掉”部分网络权重

      这一过程,利用了 AI、机器学习模型的稀疏性。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      稀疏性,指在神经网络模型中,可以将部分网络的权重设置为0,以加快推理速度。

      它的实现过程,有点像是玩只抽走积木的叠叠乐游戏。

      用户要在保证模型不会“坍塌”的同时,抽走部分参数(将参数设置为0)。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      这是因为,AI 模型在进行推理任务时,往往涉及大量矩阵乘法运算。

      如果能在不影响推理结果的同时,将矩阵中的部分参数设置成0,就能极大地加快矩阵运算速度,缩短推理时间。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      目前,许多移动端的轻量级神经网络架构,如 MobileNet 和 EfficientNetLite,主要由深度可分离卷积和1×1 卷积组成。

      其中1×1 卷积耗费的推理时间最多,占总计算量的 65% 以上。

      在 MobileNet 中,1×1 卷积的计算量甚至占模型总推理时间的 85%。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      因此,1×1 卷积层成为了稀疏化的最优选择。

      TensofFlow Lite 可用

      此前,这种利用稀疏性加速推理的方法,应用范围并不广泛。

      一个原因,是神经网络本身难以解释,导致稀疏化的过程也不好解释,以至于缺乏稀疏化的工具。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      另一个原因,则是相应设备如手机,缺乏对稀疏化操作的支持。

      现在,谷歌特意为移动设备和 Web 端,发布了一系列针对 TensorFlow Lite、和 XNNPACK 浮点加速库的稀疏化新工具。

      利用这些稀疏化工具,神经网络就能变得更高效,用户也能快速上手。

      其中,XNNPACK 库包含了能检测模型是否稀疏的方法,TF Lite 工具包中则包含基于幅度的修剪、或 RigL 等让模型“缩水”的方法。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      整体稀疏化的过程如下:

    • 首先,从原始模型开始训练,在过程中逐渐将网络中的部分权重设置为0,即“修剪”模型。
    • 然后,通过适当增加训练时间,提升模型准确度(不会比修剪前的模型差太多)。
    • 最后,获得的稀疏 AI 推理模型,可以以压缩格式有效存储,比原始模型要更小。

      这个工具支持一系列感知算法模型,包括 MediaPipe 的手部跟踪模型:

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      以及 Google Meet 中的背景替换模型:

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      当然,除了谷歌自带的 AI 模型以外,这些稀疏化工具也可以用在自己设计的 AI 模型中。

      具体效果如何呢?

      推理速度快 2 倍

      下图是原始模型和稀疏模型的对比。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      其中,蓝色和黄色,分别对应原始模型的 32 帧/秒、和 16 帧/秒的模型大小,红色和绿色则是稀疏模型对应的大小。

      从图中可以看见,经过“修剪”的 AI 模型,无论是“手部跟踪”、还是“背景替换”,模型大小都降低了接近一半以上。

      而且,随着稀疏程度的提高,推理时间也几乎呈直线下降趋势。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      但也要注意,不能一味地稀疏化模型,因为当模型的稀疏化程度高于 70% 的时候,模型的精度就会出现明显的下降。

    谷歌发布 TF 新工具:计算速度提升 2 倍,减少无效参数

      因此,模型的实际稀疏效果,还是会和理论上有所出入。

      在实际应用上,Google Meet 推理时间只降低了 30%,但也已经非常不错了。

      还在发愁自己的 AI 模型太大,在移动设备中运行效果不好的小伙伴,可以试着将自己的模型“缩缩水”了~

      项目地址:

    • https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/delegates/xnnpack/README.md#sparse-inference

      参考链接:

    • https://ai.googleblog.com/2021/03/accelerating-neural-networks-on-mobile.html

    *** 次数:10600 已用完,请联系开发者***

    1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!384324621@qq.com
    2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理,有奖励!
    3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
    4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有★币奖励和额外收入!

    IO 源码网 » 谷歌发布TF新工具:计算速度提升2倍,减少无效参数

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    IO源码吧
    一个高级程序员模板开发平台

    发表评论

    • 73会员总数(位)
    • 10292资源总数(个)
    • 76本周发布(个)
    • 7 今日发布(个)
    • 376稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情