微軟打造全棧式集成平台與工具 降低AI開發門檻

智東西 文 | 心緣

智東西6月21日消息，昨天下午，微軟亞洲研究院（MSRA）舉辦了關於AI係統的媒體研討會。為了助力AI開發，會上展示了微軟正致力於構建優化係統、全棧式集成開發平台和全周期集成開發套件。

優化係統有助於加速深度學習計算，全棧式AI集成開發平台可以使AI開發變得更加高效快捷，全周期集成開發套件則為開發者提供大量方便可用的高階AI工具和服務。

微軟亞洲研究院副院長、人工智能係統聯合中心負責人周禮棟博士一開場便強調係統的重要性：“沒有係統，一切都是海市蜃樓、空中樓閣。”根據科普中國的定義，係統是指將零散的東西進行有序的整理、編排形成的具有整體性的整體。通俗點講，係統就好比大樓的地基，是大樓能經年累月屹立不倒的關鍵。在計算機發展過程中，每一次大的突破，背後都有很多係統理論和設計作為持久推動力。周禮棟博士認為，係統研究和創新正進入黃金時代，到2020年，AI應用將全方位覆蓋人類生活，把信息轉換成有用服務，為人類帶來福利。

深度學習本質上是基於統計的科學，依賴於強大的計算能力，對AI發展起到決定性作用。訓練一個模型，需要考慮樣本規模、網絡複雜度以及計算時長等問題。

優化深度學習計算，首先要降低大量通信開銷和與逆行開銷；其次需獲得快速、高效的計算方法，既要最大化多機並行度，還要提高GPU等單個計算單元的效率；最後，實現係統軟件自動優化也很關鍵，方便用戶操作，降低AI研發門檻。

針對上述優化方法，微軟展示了三種係統優化路徑。

1、RDMA，加速分布式深度學習訓練

多機間的通信開銷是分布式訓練的主要瓶頸。資深研究員伍鳴介紹了一種硬件網絡技術RDMA網卡（Remote Direct Memory Access，可繞過TCP/IP協議棧進行通信，遠程訪問內存時不受遠程機器上CPU的幹預），目前許多以深度學習為目標應用的GPU機群都部署了這樣的網絡。為了更好利用RDMA的能力，微軟巧妙設計零拷貝通信機製，將Tensor數據直接傳輸道接收端。經TensorFlow上的實驗，該方法在一係列神經網絡模型上的收斂速度均提高2-3倍。

2、內核融合，帶來大幅性能提升

內核融合（Kernel Fusion）的主要思路是如何自動對任意深度學習網絡模型實施優化，提升單個計算單元運算效率。

上圖是將循環神經網絡RNN放在三個平台上訓練的實驗結果，由右邊圖表可以看出，內核融合後的運行速度遠低於在Tensorflow和穀歌XLA的運行速度，實現約10.9倍的性能加速。

3、擴展API，將壓縮量化過程變簡潔

微軟正在嚐試擴展TensorFlow API，使用戶可以在模型腳本中直接控製壓縮和量化。另一個思路是將輸入數據異步拷貝到CPU中，掩蓋數據拷貝的開銷，這種做法需要和內核融合結合。

想要進一步了解從係統層麵優化深度學習計算，可以訪問鏈接：https://www.msra.cn/zh-cn/news/features/deep-learning-optimization-in-framework

隨著AI技術的快速發展，各種深度學習框架層出不窮。為了更好地使AI落地，提高開發者編程效率，MSRA和STCA聯合研發創立了Open Platform for AI（OpenPAI），希望為深度學習提供一個優化的大規模AI集群管理平台，讓AI堆棧變得簡單、快速、可擴展。

5月22日，微軟亞洲研究院聯合北京大學、中國科學技術大學、西安交通大學和浙江大學四所國內頂尖高校共建新一代人工智能開放科研教育平台，以助力中國AI領域科研和教育事業的發展。OpenPAI是MSRA為該教育平台提供的三大關鍵技術之一。

中科大基於OpenPAI所搭建起的私有雲平台已初見成效，極大減輕了科研人員的工作量。未來OpenPAI將繼續擴展、支持類腦智能技術及應用國家工程實驗室的科研工作。

想要進一步了解Open API，可以訪問鏈接：https://www.msra.cn/zh-cn/news/features/openpai

Tools for AI由微軟中國研發團隊主導研發，為開發者提供業界第一款針對AI的全平台、全軟件產品生命周期的集成開發套件。5月21日召開的2018微軟人工智能大會（Microsoft AI Innovate 2018）上，微軟推出這項新工具。

Tools for AI具有一鍵安裝功能，可配合Visual Studio （Code）為開發者提供一個可以快速入門的AI開發集成環境。該工具還支持多種雲端資源，能充分利用雲端計算資源加速訓練。此外，微軟提供統一的可視化界麵，方便開發者使用完整的AI開發生命周期管理功能，並允許用戶利用如微軟認知服務Cognitive Services等預先開發好的高階AI模型和服務。

Tools for AI致力於為開發者提供一個熟悉、一致和開放的開發環境，使之快速實現AI開發全周期工作。不僅幫助開發者靈活使用AI技術解決行業內的重要問題，有助於提高多方科研技術水平，還將為中國AI的發展提供更大的動力。

想要進一步了解Tools for AI，可以訪問鏈接：https://www.msra.cn/zh-cn/news/features/tools-for-ai

傳統機器學習開發還存在的問題有：流程繁瑣，需經反複迭代尋找更好模型；模型選擇和調參需要人工手寫冗餘代碼；難以並行在分布式集群上。針對上述問題，研究員薛卉介紹了智能化自動化的深度學習模型開發流程NNI（Neural Network Intelligence）。

NNI定義了全新的搜索空間語言，允許一鍵部署在不同的雲服務或本地空間上，底層支持不同的深度學習框架。它可以自動數據分析、用工具包自動迭代，為用戶提供更方便開發流程。用戶可以將代碼發布到不同集群，通過評估找更好的超參數組合和模型結構。可視化工具可以幫助用戶直觀的查看超參數組合、時間等數據。

該工具不久後會以開源形式和大家見麵。

微軟亞洲研究院研究人員提出對未來係統的願景：隱形無界的係統，無處不在的智能。設計係統非常繁複，每一步都會造成損耗，所以每一步都要做統一精準的考量。研究人員們正在努力打造簡約的抽象加全新的平台工具，期望從係統層麵進一步推動深度學習乃至人工智能的發展，努力在高效計算方法、兼容性、全麵且精簡等方麵有更大的提升。

AI係統具有良好的普適性，隨著其性能的提高，很多領域的“大餅”會變成現實。在一些AI領域，比如家用機器人、智能音箱等，優化係統能夠使小型芯片亦有出色的性能體驗。再比方說，雲對話可以做到自然流暢無延遲地回複對話，這也和係統優化密不可分。開發者可以在全棧式開發平台上使用強大的AI套件盡情編譯代碼，無需關心資源來自哪裏，也無需考慮速度、消耗等的問題。傳統開發者也能從最熟悉的環境開始，逐步轉型為AI開發者。

當被問及微軟在AI方麵的關注點與其他企業有什麼不同時，研究人員告訴記者，微軟想以更全麵的方式看問題，希望提供整體的解決方案，並表示不排斥任何有益的東西，願意通過和包括競爭對手在內的各企業、各高校合作互通，為共同未來AI的發展添磚加瓦。

德國建築大師密斯有一句名言：“當技術實現了它的真正使命，它就升華為藝術。”這句話套在人工智能係統上，似乎也極其適用。