Google推出最新ML模型压缩技术Learn2Compress快报
TechWeb.com.cn
2018-05-16 15:14
导读
Google近日公开了自家全新ML模型压缩技术Learn2Compress,对于Learn2Compress技术的本质,Learn2Compress将NN模型压缩为输入一个大型的TF模型。
5月16日消息,随着深度学习技术的爆炸性发展,很多企业、开发者都发表了自己的研究论文,展示最新取得的不俗成绩。但是在实际使用时,很可能遇到模型大小方面的问题。Google近日公开了自家全新ML模型压缩技术Learn2Compress。
该技术能为开发的深度学习模型变得更为轻量化,并在移动设备上去执行。Learn2Compress将NN模型压缩为输入一个大型的TF模型,自动生成随时可用的设备模型。

对于Learn2Compress技术的本质,谷歌提了如下三点:
·通过除无意义的权重和激活来减少模型的大小;
·通过减少模型中使用的位数来提高推理速度;
·联合训练和精馏方法策略,老师网络是一个给定的模型,学生网络是被压缩的,这些模型很窄,有助于我们显著减轻计算负担,此外还能够同时训练不同规模的学生网络。

结果就是Learn2Compress效果非常好,可以更快更小地生成模型,有时甚至超过了给定的模型。
模型
Learn
Compress
技术
压缩
1.TMT观察网遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2.TMT观察网的原创文章,请转载时务必注明文章作者和"来源:TMT观察网",不尊重原创的行为TMT观察网或将追究责任;
3.作者投稿可能会经TMT观察网编辑修改或补充。

