本文主要是介绍调研--模型压缩，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

需求

占内存太大：但是没有想明白哪里占？参数？

那就计算一下参数：每个特征哈希出多少个结果

常见方法

• Pruning（修剪）: 因为神经网络很多权重几乎为0，这类参数作用不大，部分参数删掉也不影响模型预测效果
• Weight Factorization（权重分解）：权重矩阵可以进行低秩矩阵分解，即low-rank matrix factorization，从而使得一些参数为0
• Quantization（削减精度）：能用float32，不用float64；能用int，不用float
• Weight Sharing（共享权重）：很多layer的参数可以共享，没必要用太多参数

这篇关于调研--模型压缩的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！