這顆視覺神經網絡協處理器, 將成為微軟下一代HoloLens的神秘武器

三年前 HoloLens 剛剛曝光的時候，這款微軟開發的混合現實 (Mixed Reality) 頭顯設備，能夠以 60Hz 的刷新率，將畫麵與佩戴者通過設備透鏡看到的真實世界疊加在一起，帶來前所未有的人機視覺交互體驗，被人們驚訝地稱為“黑科技”。

在夏威夷正在召開的國際計算機視覺和模式識別大會 (CVPR 2017) 上，微軟首次宣布了下一代 HoloLens 的重要硬件配置：2 代 HPU 處理器 (HoloLens Processing Unit) 將搭載一顆協處理器，專門用於在本地運行各種深度學習——特別是計算機視覺範疇所廣泛使用的深度神經網絡 (DNN) 架構。

HoloLens 科學主管馬克·波利菲 (Marc Pollefeys) 在公司博客裏指出，HoloLens 單機運行，不外接電源和數據，其 HPU 需要對 HoloLens 搭載的各種攝像頭、傳感器和手勢追蹤數據進行處理計算，對本地計算能力帶來了非常大的需求。而下一代 HoloLens 需要借助深度神經網絡計算來實現更強的計算機視覺能力，此時通用多核處理器（比如酷睿處理器或 HPU）就顯得心有餘而力不足了：在本地運行一個已經訓練好的神經網絡，通常會占用處理器的所有核心的絕大部分，導致沒有足額算力去處理其他任務，比如運行操作係統等等，這會導致係統崩潰，硬件死機等結果。

而新協處理器的任務是幫 HPU 分擔神經網絡計算的任務，從而解放 HPU 去處理其他計算任務——從感覺上有點像蘋果 iOS 設備的 M 係列協處理器所承擔的環境和感知計算的任務，能夠低功耗處理運動傳感器傳回的數據。

根據微軟並不充分的資料，我們可以確認協處理器的核心功能就是低功耗、低延遲運行各類深度神經網絡。微軟全球執行副總裁沈向洋在 CVPR 2017 上介紹，協處理器可以運行非常廣泛的神經網絡類型，且完全可編程，能夠在本地富有彈性地運行深度神經網絡。

聽上去協處理器由微軟定製開發，不過“可編程”這個用語很難不讓人聯想到 FPGA，也即“可編程邏輯門陣列”，一種自定義程度較高，可以現場重新編程改變處理器運行邏輯的新處理器技術。FPGA 市場領導者之一的 Altera 已經被英特爾收購，而考慮到微軟和英特爾長久的合作關係，該公司在第一代發售版 HoloLens 中已經使用了英特爾 Cherry Trail 架構 32 位處理器，這枚新協處理器的技術提供商可能也是英特爾。

猜測仍然隻是猜測，意外的情況也有可能出現。不過另一件有趣的事是，同樣在 CVPR 2017 上一家名為 Movidius（也已被英特爾收購）的愛爾蘭公司正式推出的神經網絡計算棒 Neural Compute Stick，其技術用途和優勢和微軟宣布的協處理器幾乎完全一致：NCS 的常規運行功耗低於 1W，能提供超過 80-150GFLOPS（十億次浮點計算）的驚人算力，通過 USB 外接到設備上，用於分擔計算機視覺方麵的計算，基於的是 Movidius 自研的 Myriad 2 視覺處理器（Visual Processing Unit） 。

之前 Movidius 內部知情人士告訴我，正在和一家業界巨頭共同開發基於 Myriad 2 的芯片，聽起來像是微軟本次宣布的協處理器。對於協處理器開發合作夥伴的猜測，微軟方麵表示不予置評。

除了微軟和英特爾，英偉達也在今年推出了一種名叫 Volta 架構的芯片，和英特爾的 FPGA 對抗；Google 則搶先了一步，早在一兩年前就開始在其數據中心中使用自研的 TPU (TensorFlow Processing Unity)，補足甚至取代 CPU 和 GPGPU。

這些公司的策略各有不同，但主要有兩個方向，一個是在低功耗上本地運行優化的神經網絡（Movidius、微軟協處理器），另一個是在沒有嚴格功率限製的前提下進一步推進算力（TPU、Volta）。另外也有一些小型初創企業采取的方向是為垂直行業定製專門的芯片。不管怎樣，專門為了訓練或推理（運行）神經網絡而定製芯片，已經成為了前沿科技公司共同領導的趨勢，以至於“顯卡”不再是人工智能相關計算的首選設備。