微軟披露新AI係統細節——用來加速其雲計算服務

微軟在今年Hot Chips上透露該係統相關技術細節

該實時AI係統將用於加速微軟雲計算服務

該係統芯片采用英特爾製造的 Stratix 10 FPGA

8月22日，在矽穀的 Hot Chips 2017 大會上，微軟透露了新實時 AI 係統的相關技術細節，該係統代號為 Project Brainwave。這款新AI係統未來將並入到微軟雲計算服務Microsoft Azure 和 Bing 當中，以加快處理速度。

Project Brainwave 的負責人為微軟高級工程師 Doug Burger，致力於開發雲計算的加速構架。目前官網暫未給出該項目的時間線，不過從披露的細節看，該項目是基於 Doug Burger 六年前開展的 Project Catapult。

2010年，Doug Burger 向當時微軟的CEO史蒂夫·鮑爾默描繪了未來機器學習和Web服務的龐大規模，要提供這些服務，現在的服務器CPU的摩爾定律已入暮年，必須建立一個全新的框架。於是，2011年，微軟展開 Project Catapult，目的就是用FPGA構架代替傳統CPU中的馮氏結構，這讓微軟成為第一家在公共雲基礎設施中部署FPGA的提供商。

2016年，開展了五年的Project Catapult讓微軟的幾乎所有數據中心的服務器都配備了 FPGA 加速板。

今年，Project Brainwave 便是基於此前部署的 FPGA 構架，在今年矽穀的 Hot Chips 大會上，該項目首次亮相，Doug Burger 僅向大家透露了該項目的相關技術細節，主要有三點：

第一，該項目使用FPGA架構。這種被稱之為“現場可編程門陣列（Field Programmabe Gate Array）”的架構比起傳統使用馮·諾依曼結構的CPU、GPU的優點在於無指令，無需共享內存，在處理數據時的延遲更低、吞吐量更大。這次的係統便是以FPGA為基礎，把FPGA直接連接到微軟的數據中心，其 DNN可以映射到FPGA池，然後FPGA來響應外部提出的需求。

第二，該項目使用深度神經網絡DNN處理單元（DPU）。Project Brainwave 的 DPU 可以根據FPGA上的ASIC數字信號進行縮放的。而不是固定運算符和數據類型的，雖然具有高峰值性能，但同時限製了其靈活性。而可縮放的設計，提供了更大量更優化的功能單元，不僅允許高度客製化、窄精度的數據型態，可提高性能又不損失模型的精準性，而且還可以支持新的算法。

第三，Project Brainwave納入了一款支持多個流行深度學習框架的軟件棧（software stack）。目前已經可以支持微軟自家的 Cognitive Toolkit 以及Google 的 Tensorflow，未來還將支持更多深度學習框架。

在微軟的演示中，該係統維持了每毫秒 39.5 萬億次的浮點運算，其運行的 GRU 規模是ResNet-50（2015年大規模視覺識別挑戰賽排名第一的深度網絡）的五倍大小，無需批量處理，並且實現了記錄設置性能。綜合看下來，其性能也是數一數二的，微軟預計未來這個速度還將會得到提升。

該AI係統由 Stratix 10 FPGA 作為核心芯片。這款芯片由英特爾 2015 年以 167 億美元收購的 Altera 製造，Altera 是一家專門製作 FPGA 芯片的公司。此前新城商業報道過 NASA 使用的深度學習係統也是由英特爾收購的企業提供，這次又為行業巨頭微軟提供芯片，可見英特爾的布局還是非常成功的。

微軟的下一步的商業計劃就是將這個實時AI係統並入在 Microsoft Azure 和 Bing 上，以超低延遲處理請求。微軟的客戶就能通過這兩個接口直接訪問該AI係統，進行複雜的數據運算或是創造深度學習軟件。