最近的一系列研究发现了各种改善神经网络的方法，从压缩计算网络权重所需的数学到减少数据带宽，再到考虑新颖的分布式计算系统。

随着神经网络规模的爆炸式增长，人工智能社区面临着对现有资源征税的笨拙的计算机工作负荷，Boon已经开始变得沮丧。

令人高兴的是，新的一年开始时提供了大量的解决方案，使神经网络更易于管理，无论是用于训练它们，还是在设备上运行以回答问题，被称为机器学习的“推理”阶段。

12月底和本周的一系列论文提出了各种解决方案，使网络更易于管理。它们包括，没有特别的顺序：

压缩计算神经网络权重所需的数学运算，在某些情况下将它们从32位浮点数减少到8位定点（整数）数，或者将它们“二值化”，将它们减少到1或0，或者使用矩阵的“对称性”，减少代表它们所需的存储量;

“修剪”参数，意味着去除一些权重和“激活函数”，使神经网络中给定神经元的计算响应数据;

当在许多分布式计算机系统上运行时减少通过网络共享的数据量，例如通过选择性地决定与神经元交换关于权重的信息，或者通过选择性地跨不同处理器划分计算;

新型神经网络算法及其分区方法，可以更有效地利用新型硬件。

深度神经网络的巨大计算和参数复杂性导致高能耗，使得通过随机梯度下降算法进行的训练经常非常缓慢需要数小时和数天，并禁止在能源和资源受限的平台上部署，例如移动设备和自治代理。

相关文章