頭條楓林網
近期，麻省理工學院的研究人員開發了一種專用芯片， 將神經網絡計算的速度提高了 3 倍至 7 倍，同時將功耗降低了 95％。 這將會使在智能手機上運行神經網絡變得切實可行。
不管是語音識別還是面部識別，目前大多數人工智能係統的進步背後都來自於神經網絡的功勞。 人工神經網絡，也就是通過大量簡易“神經元”（信息處理器）連接而成的系統，能夠通過分析大量訓練數據學習如何完成不同的任務。
正是因為這樣的結構，神經網絡佔用空間大，其計算過程中的耗能也相應非常大。 因此，目前的神經網絡很少能夠被便攜設備使用。 目前所有使用神經網絡的智能手機軟件只能向網絡服務器發送數據，通過接收服務器返回的數據完成計算。
不過，麻省理工學院（MIT）的研究人員開發了一種能夠將神經網絡計算速度提升 3-7 倍的專用芯片。 除了提升計算性能，這類芯片還能夠減少計算時 94-95% 的能耗。 這種芯片使智能手機運用神經網絡進行計算成為了可能，甚至能夠擴展到在各式智能家居中的應用。
負責芯片開發的 Avishek Biswas 是這樣解釋的： “目前大部分的處理器芯片都有這樣的模型：芯片的一部分是內存，另一部分是處理器。在計算的同時，數據相當於是在這兩部分之間來回移位。” Biswas 是 MIT 電氣工程和計算機學的一名研究生。
“由於這類機器學習算法需要非常多的計算量，數據的移位消耗了總能量中的絕大部分；但是算法中的計算本身其實能夠被簡化為‘ 點乘 ’這一種運算。 我們因此產生了這種想法：能不能將這種 ‘ 點乘 ’ 運算直接在內存中執行，從而不需要將數據來回移動呢？ ”
Biswas 和他的指導教授，MIT 工程學院院長、Vannevar Bush 榮譽教授 Anantha Chandrakasan 在他們最新發表的論文中詳細地描述了這種新型芯片。 Biswas 在上週的國際固態電路會議（International Solid State Circuits Conference）中介紹了這篇論文。
重回抽象
人工神經網絡一般被分成很多層，某一層中的一個處理器節點會從數個下層節點中獲得數據，在計算後又將結果傳送給上層中的數個節點。 任意兩個節點的連接都擁有不同的權重（weight），標誌著下層節點傳送的數據對於上層節點的計算有多大的影響。 “訓練”神經網絡的過程其實就是調試並改進這些權重數據。
當某個節點獲得下層節點傳送的數據後，它會將每個數據乘以它的權重，然後將這些結果相加。 這一運算過程——將相乘後的所有結果相加——就叫作“點乘”。 如果點乘的結果超過了某個定值，這一結果將被傳送給更上層的節點。 上層節點也將會這一結果乘以連接權重，然後再和別的數據相加。
“神經網絡”本身其實是對這一算法的一種“抽象化”：在計算機中，“節點”其實只是內存中的一系列權重數據。 計算點乘的過程一般是從內存中讀取一個權重和相關的計算數據，將這兩個數據相乘並將結果存在內存的某個位置，然後重複這一過程，直到這一個節點的所有數據 都被計算完畢。 由於一個神經網絡可能有上萬（甚至上百萬）的節點，在計算過程中其實要進行非常多的數據移動。
人工神經網絡的計算過程其實是對大腦活動的一種電子化詮釋。 在大腦中，信號沿著多個神經元行進，在“突觸”或者一束神經元之間的間隙中相遇。 神經元的放電速率和穿過突觸的電化學信號對應著人工神經網絡中的數據值和權重。 這樣說來，MIT 研究人員此次研發的新型芯片通過對大腦活動的進一步複製、模仿，從而提升了人工神經網絡的效率。
在這種新型芯片中，一個節點的輸入數據被轉化為不同的電壓，並且這些電壓將乘以權重大小進行放大或縮小。 將相乘後的結果相加的過程能夠通過組合這些電壓得到實現。 只有組合後的電壓會被重新轉換成數據，並在內存中進行存儲，以進行下一步計算。
因此，這種芯片原型不需要將數據在處理器和內存中移動——它能同時計算 16 個節點的點乘結果。
不是“開”就是“關”
這個系統的一大特點是權重數值不是 1 就是-1。 這就意味著它們能被實現為內存中的“電路開關”，也就是“關閉電路”與“打開電路”的區別。 最新的理論研究表明，僅有兩個權重值的人工神經網絡與其它神經網絡相比，其準確性僅會下降 1%-2%。
Biswas 與 Chandrakasan 教授的研究與這一理論結果相差不遠。 在實驗中，他們在傳統計算機中運行了一個全面的神經網絡，同時在他們研發的芯片上運行了二元權重的神經網絡。 芯片提供的計算結果與計算機提供的結果一般僅相差 2%-3%。
“這項研究是針對深度學習應用中基於靜態存儲器（SRAM）內存模擬計算的一次非常有前景的實際演示。” IBM 人工智能研究院副總裁Dario Gil 是這樣評價的，“這項研究的結果對於在存儲陣列中實現卷積網絡提供了一種節能的實現方案。它一定能夠為將來在物聯網（Internet of Things , IoT）中採用更複雜的捲積神經網絡進行圖像和視頻分類開闢可能性。”
-End-
