最近的一系列研究發現了各種改善神經網絡的方法，從壓縮計算網絡權重所需的數學到減少數據帶寬，再到考慮新穎的分佈式計算系統。

隨着神經網絡規模的爆炸式增長，人工智能社區面臨着對現有資源徵稅的笨拙的計算機工作負荷，Boon已經開始變得沮喪。

令人高興的是，新的一年開始時提供了大量的解決方案，使神經網絡更易於管理，無論是用於訓練它們，還是在設備上運行以回答問題，被稱爲機器學習的“推理”階段。

12月底和本週的一系列論文提出了各種解決方案，使網絡更易於管理。它們包括，沒有特別的順序：

壓縮計算神經網絡權重所需的數學運算，在某些情況下將它們從32位浮點數減少到8位定點（整數）數，或者將它們“二值化”，將它們減少到1或0，或者使用矩陣的“對稱性”，減少代表它們所需的存儲量;

“修剪”參數，意味着去除一些權重和“激活函數”，使神經網絡中給定神經元的計算響應數據;

當在許多分佈式計算機系統上運行時減少通過網絡共享的數據量，例如通過選擇性地決定與神經元交換關於權重的信息，或者通過選擇性地跨不同處理器劃分計算;

新型神經網絡算法及其分區方法，可以更有效地利用新型硬件。

深度神經網絡的巨大計算和參數複雜性導致高能耗，使得通過隨機梯度下降算法進行的訓練經常非常緩慢需要數小時和數天，並禁止在能源和資源受限的平臺上部署，例如移動設備和自治代理。

相關文章