開源｜微軟開源嵌入式機器學習庫ELL：把人工智能擴展到邊緣設備

微軟雷德蒙研究院的研究員，從左至右：Ajay Manchepalli，Rob DeLine，Lisa Ong，Chuck Jacobs，Ofer Dekel，Saleema Amershi，Shuayb Zarar，Chris Lovett，Byron Changuion

編者按：在今年Build 2017大會上，微軟首席執行官薩提亞∙納德拉提出“我們正在從目前‘移動優先、雲優先’的世界轉移到由智能雲和智能邊緣組成的新世界中”，邊緣計算正變得越來越重要。來自美國雷德蒙和印度班加羅爾的研究團隊開源了一套嵌入式學習庫ELL，幫助開發者把深度神經網絡部署到邊緣設備上。

本文譯自AI’s big leap to tiny devices opens world of possibilities（有刪減），原文地址：https://blogs.microsoft.com/next/2017/06/29/ais-big-leap-tiny-devices-opens-world-possibilities/

有時，自家花園就是展示大膽甚至有望改變世界的技術的最佳場所。微軟研究院機器學習和優化研究組的負責人Ofer Dekel則是例證之一。

在Ofer Dekel家的花園裏，鬆鼠經常啃咬花苞，偷吃投喂器裏的鳥食，這使得他和家人無法欣賞到綻放的花朵和悅耳的鳥鳴。為了解決這個問題，Dekel訓練了一個計算機視覺模型來偵測鬆鼠的出沒，並將代碼部署到Raspberry Pi 3（一種廉價且計算能力有限的單板計算機）上。該設備時刻監測著Dekel的後院，一旦有鬆鼠光顧，就會觸發噴灌係統。“任何擁有Raspberry Pi的愛好者都應該可以實現類似的工作，”Dekel說：“但今天，他們中仍然很少有人可以做到。”

身為機器學習專家的Dekel正在努力解決這個問題。他領導著一支由30多名計算機科學家、軟件工程師和研究實習生組成的多學科融合團隊，成員分布在美國雷德蒙和印度班加羅爾的微軟研究院中。目前，Dekel的團隊正在開發一類新的機器學習軟件和工具，將人工智能嵌入到隻有麵包屑大小的計算機處理器中。這款軟件的早期預覽版已可以通過GitHub下載：

https://github.com/Microsoft/ELL（點擊【閱讀原文】下載）。

這個項目是行業技術變革的一部分，最近在美國西雅圖舉行的微軟開發者大會Build 2017上，微軟首席執行官薩提亞·納德拉就曾對這一新變革進行了闡述，他說：“我們正在從目前‘移動優先、雲優先’的世界轉移到由智能雲和智能邊緣組成的新世界中。”

智能邊緣

在未來世界中，每個角落都將充斥著微型智能設備——嵌在我們的衣服中，遍布在我們的住所和辦公室裏，部署在汽車發動機、電梯、手術室和石油鑽機等各種場合，執行異常監測和預防性維護等多種任務。創造智能邊緣正是實現這一前景的前提之一。

目前，此類設備主要用作傳感器，收集數據並發送給在雲端運行的機器學習模型。微軟雷德蒙研究院商務和技術運營總監Shabnam Erfani說：“所有這些處理都需要大量計算，海量存儲空間，但現在並不可能實現把所有需要的硬件都裝入低成本的嵌入式設備中。”

她補充說，Dekel和他的同事正在試圖完成這個不可能的任務。“要大幅度縮減機器學習係統的大小並使之更加高效，以便在移動設備上運行。”這些智能設備是物聯網（IoT）的組成部分，隻不過它們在即使沒有網絡連接的情況下也可以正常工作。

微軟印度研究院的研究員，從左前起：Manik Varma，Praneeth Netrapalli，Chirag Gupta，Prateek Jain，Yeshwanth Cherapanamjeri，Rahul Sharma，Nagarajan Natarajan，Vivek Gupta

微軟印度研究院資深研究員、該項目的共同負責人之一Manik Varma表示：“主流範式認為這些設備是非智能的。它們隻能感知周邊環境，並將傳感器讀數傳輸到雲端，進行機器學習。然而這種模式無法解決我們認為有望改變世界的一些關鍵應用場景。”

將機器學習推廣到邊緣設備，可減少帶寬限製，並消除對網絡延遲（即數據傳輸到雲端進行處理並將結果返回設備所需的時間）的擔憂。Varma指出，利用設備自身進行機器學習，也可以降低因不斷與雲端溝通數據而帶來的電池消耗；而且將個人及其他敏感信息保留在本地，也有助於保護隱私。

研究人員設想了許多可以通過這種方法創造的智能設備，例如用於對遠程農場進行精準灌溉的智能土壤濕度傳感器，以及可對即將發生的癲癇提出預警以便用戶及早抵達安全場所並呼叫護理人員的大腦植入體。

“如果你正行駛在沒有網絡的高速公路上，你肯定希望植入體依然可以正常工作，”Varma說：“事實上，這才是你最需要幫助的時候。”

自上而下

研究團隊正在采用“自上而下”和“自下而上”兩種方法，將機器學習模型部署到資源受限的設備上。

所謂“自上而下”的方法涉及到開發一係列算法，壓縮原先針對雲端訓練的機器學習模型，使之能夠在Raspberry Pi 3和Raspberry Pi Zero等設備上有效運行。

如今的許多機器學習模型都使用了深層神經網絡。而Dekel和他的同事正使用各種技術來壓縮深層神經網絡，使之適應小型設備。例如，一種名為“權重量化”（weight quantization）的技術可以隻用幾個bit的信息量來表征每個神經網絡參數，而不是標準的32bit。

微軟主管研究員Ofer Dekel

Dekel說：“我們可以將更多參數壓縮到更小的空間內，而計算機也能用比以往快得多的速度來處理這些參數。”

為了說明差異，他播放了一個視頻，對比了最先進的計算機視覺神經網絡在壓縮前和壓縮後分別在Raspberry Pi 3s上的表現：兩個模型的精準度相同，而壓縮版本的運行速度卻提高了20倍。

這些訓練算法的早期預覽版現已可在GitHub上下載。研究團隊目前仍在開發一些工具，幫助愛好者、創客和其他非機器學習領域的專家順利完成數據采集和清洗、模型訓練以及在設備上部署的端到端流程。

微軟雷德蒙研究院人機交互領域研究員Saleema Amershi表示：“向日常用戶提供強大的機器學習工具，才是AI的普及和全民化。即便我們掌握了將智能功能移植到小型設備上的技術，但如果隻有機器學習專家才能夠使用它們，這又有什麼意義呢？”

目前，研究團隊正在探索的另一種壓縮技術是對神經網絡進行修剪或稀疏化以消除冗餘，這將縮短計算時間，並能夠將其部署到小型計算設備（如ARM Cortex M7）上。

微軟印度研究院的研究員，從左後起：Vivek Seshadri，Harsha Vardhan Simhadri，Suresh Parthasarathy，Priyan Vaithilingam

自下而上

上述壓縮方法隻能讓現有的機器學習模型縮小至原來的十分之一到百分之一。但如果要將機器學習部署到Cortex M0s上（這是市麵上最小的ARM處理器，物理尺寸與菜肴裏磨碎了的紅辣椒片相當，Dekel將其稱為“塵埃計算機”），這些模型需要縮小至原來的千分之一到萬分之一。

“目前還沒有辦法讓深層神經網絡在僅消耗萬分之一資源的情況下仍然保持同樣的精準。”Dekel說：“為此，我們有一個長期計劃——另起爐灶，為這些資源受限的平台開發量身定製的全新機器學習技術和工具。”

自下而上的方法是從頭開始的，團隊成員專注於構建一個集成了多種訓練算法的數據庫，每種訓練算法都經過了精細調校，可以在一係列專用場景下發揮最佳效能。例如，其中一類用於腦部植入應用，而另一類則用來監測噴氣發動機等設備中的異常以及預測何時需要維護。

研究團隊所關注的最小設備是Arduino Uno，這是一種資源嚴重受限的單板計算機，RAM隻有2K。研究人員用算法訓練機器學習模型來執行解答是非題和多選題、預測可能目標的價值以及對項目進行排序等任務。

這些模型靈感來自基於雲端的係統，但研究人員正在對它們進行重新設計，旨在縮減需要學習的數據量、降低計算複雜性和限製內存需求，同時保持準確性和運行速度。

Varma解釋說：“最終，我們的模型會幾乎與基於雲端的神經網絡一樣精準，而規模卻非常小，可以將其部署到隻有幾K的RAM係統上。”

能夠展示此項研究潛力的原型設備之一是為視力受損的Varma本人量身定製的智能手杖，一旦使用者跌倒，它就會發出求援呼叫。另一項應用則是一種智能手套，它可以翻譯美國手語，並通過揚聲器讀出手語所表達的詞彙。

Varma說：“我喜歡幫助人們克服障礙，賦予他們生產力，幫忙他們更好地融入社會。”

想象未來

微軟研究院旨在研究從現在開始十年之內有望普及的技術，而將AI嵌入微型設備的研究也是其中之一。在Dekel及其同事們看來，這將是一個充滿了智能和安全設備的世界，而且任何有創意並想要付諸實施的人都能夠獲得相應的工具。

目前，該研究項目已經開始為創客社區——那些遇到問題（就像Dekel碰到的鬆鼠問題一樣）並希望通過技術解決問題的人——提供服務。其中的創客是一些各領域的專家，例如一名遊泳選手希望能訓練出（智能）健身手環，用來計算圈數並能夠區分自由泳、蛙泳和蝶泳等不同泳姿。

Varma還站在整個行業的高度上為這些創造者設想了一個角色：開發異常監測和維護預警的智能安全設備。他說：“等出了故障再補救，其成本要比在出故障之前就找出問題要高得多。”

Amershi指出，如果單純依靠少數持有人工智能博士學位的計算機科學家們來製造這些設備，那麼這些設備中絕大部分都會化為泡影。她正在開發一些界麵和其他工具，以減少訓練的複雜性和單調性，並將機器學習模型部署到邊緣設備上，讓各種類型的創客都能夠提高生產力。

她說：“機器學習不是一蹴而就的，而是一門藝術。要花一些功夫、費一些周折，引導機器學習模型按照你的意願去完成工作。”

你也許還想看：

，共建交流平台。來稿請寄：msraai@microsoft.com。

微軟小冰進駐微軟研究院微信啦！快去主頁和她聊聊天吧。