微軟發布深度學習平台Brainwave，基於FPGA速度超快

安妮 編譯整理

量子位 出品 | 公眾號 QbitAI

在昨天Hot Chips 2017大會上，微軟發布了基於FPGA的低延遲深度學習加速平台。據微軟官方博客顯示，當使用英特爾Stratix 10 FPGA時，Brainwave可在無批處理的情況下支持每秒39.5萬億次浮點運算。

這已經不是微軟第一次提出Brainwave的概念，過去幾年中微軟一直嚐試用FPGA提升必應（Bing）與Azure的性能與效率。微軟希望賦予開發人員FPGA處理能力，幫助他們運行複雜的任務。因此，這套深度學習加速平台應運而生。

微軟在官方博客上公布了Brainwave的三個層麵：

高性能分布式係統架構

集成至FPGA上的深度神經網絡(DNN)引擎

可低摩擦部署訓練模型的編譯器和runtime

△ Brainwave用英特爾FPGA進行演示

第一層麵

Brainwave利用了大量微軟在過去幾年裏部署的FPGA架構。通過將高性能FPGA鏈接到數據中心網絡，微軟讓DNN支持硬件微服務。其中DNN可被映射到一個遠程的FPGA池，由一個loop中沒有軟件的服務器調用。

這種係統架構既降低了延遲，並且CPU無需處理傳入的請求，允許非常高的吞吐量，所以FPGA處理請求的速度和網絡傳輸速度一樣快。

第二層麵

Brainwave使用了集成至商用FPGA上的強大的“軟”DNN處理單元（DPU）。

不論科技巨頭還是初創公司，很多公司正在構建“硬化”的DPU。盡管其中有些芯片峰值性能很強，但必須在設計時就選好操作符和數據類型，這限製了它們的靈活性。

微軟的解決辦法不同，它提供了跨係列的數據類型，可在合成時間內決策。該設計將ASIC數字信號處理模塊、FPGA和合成邏輯三者結合，提供了更龐大、數量上更優化的功能單元。

第三層麵

此外，Brainwave內置一個支持各種流行的深度學習框架的軟件棧，目前Microsoft Cognitive Toolkit（CNTK）、Tensorflow均已兼容，微軟計劃支持更多框架。

在這裏，微軟定義了一種基於圖的中間表示，先將模型轉換為受歡迎的框架，然後再編譯到高性能的基礎架構中。

微軟在官方博客中表示，他們將盡快通過Azure向外部開發者提供FPGA，讓用戶通過微軟的服務間接訪問。

據外媒ZDNet報道，微軟並不是唯一一家在雲數據中心朝FPGA發展的公司，亞馬遜和穀歌都在使用定製芯片處理AI任務。

最後，量子位還有一份Brainwave官方版52頁PPT及介紹文檔，可在量子位微信公眾號會話界麵回複“170823”領取。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界麵，回複“招聘”兩個字。

量子位 QbitAI

վ'ᴗ' ի 追蹤AI技術和產品新動態