微軟想在麵包屑大小的芯片上運行神經網絡，發布嵌入式學習庫ELL

李林 編譯自 ZDNet
量子位 報道 | 公眾號 QbitAI

微軟昨天發布了一個嵌入式學習庫(Embedded Learning Library, ELL)，包括一個用在樹莓派上等開發板上的預訓練圖像識別模型。

比如說把圖像識別模型放到樹莓派上，連接一個攝像頭，它不用聯網就能認出很多日常物體，然後在樹莓派接入的顯示器上顯示一個標簽：

微軟一直想縮小機器學習模型，讓它們能在各種設備的低能耗芯片上運行，這樣，我們身邊的攝像頭、家用電器不用聯網，也能智能起來。這也就是微軟CEO納德拉在今年Build開發者大會上所強調的邊緣計算。

ELL正是成果之一。

ELL的早期預覽版已經放到了GitHub上，C++和Python都可用。地址：

https://github.com/Microsoft/ELL

Ofer Dekel

微軟Redmond研究院的Ofer Dekel領導了這項研究，他帶領著30人的小組，其中包括Redmond和印度班加羅爾的計算機科學家、軟件工程師、研究實習生。

微軟Redmond研究院參與這項研究的部分成員

微軟班加羅爾研究院參與這項研究的部分成員

微軟在官方博客中說，在樹莓派上運行神經網絡並不是他們的終極目標，這個團隊最終想把模型壓縮到更小，小到能在麵包屑大小的ARM Cortex-M0上運行，也就是上圖Dekel手中的那個芯片。

他們現在已經把機器學習模型壓縮到了原來的1/10，甚至1/100，不過要在M0上運行，需要壓縮到1/1000-1/10000。

目前，微軟研究員們嚐試過的最小的芯片是Arduino Uno，RAM隻有2 kilobytes。

為了將機器學習模型縮小，Dekel的團隊嚐試了各種方法，其中之一叫做權重量化(weight quantization)，不用標準的32比特來表示神經網絡參數，而是用個位數的比特值，甚至1比特。

同時，這個團隊也在嚐試剪枝的方法，或者叫稀疏化。這種方法想通過去除神經網絡的冗餘部分，來壓縮模型大小。

當機器學習模型能在極小的芯片上運行，會給我們的世界帶來很多新型智能設備，比如在邊遠地區自動探測土壤濕度的灌溉設施，比如植入人腦的芯片。

【完】

一則通知

量子位正在組建自動駕駛技術群，麵向研究自動駕駛相關領域的在校學生或一線工程師。李開複、王詠剛、王乃岩、王弢等大牛都在群裏。歡迎大家加量子位微信(qbitbot)，備注“自動駕駛”申請加入哈~