微軟首席人工智能科學家鄧力離職 加盟對衝基金Citadel

他在和機器之心確認GMIS 2017 大會有關他信息的郵件中寫道：「我最近已經離開了微軟的崗位，加入了一家新的美國公司Citadel——世界上最成功的投資公司之一。Citadel 在人工智能創新上的機遇及對增進公司在該領域領導地位的熱情讓我倍感振奮。」

作為深度學習、人工智能、自然語言理解與語音識別方麵的專家，鄧力早在2009 年就同Geoffrey Hinton 教授合作，首次提出並將深度神經網絡應用到大規模語言識別中，顯著提高了機器對語音的識別率，極大推動了人機交互領域的發展與進步。目前，鄧力的研究方向主要為應用於大數據、語音、文本、圖像和多模態處理的深度學習和機器智能方法。在語音、NLP、大數據分析、企業智能、互聯網搜索、機器智能、深度學習等領域，鄧力曾獲70 多項美國或國際專利。同時，他還獲得過IEEE、國際言語通訊協會、美國聲學協會、亞太信號與信息處理協會、微軟等組織授予的多項榮譽。2015 年，憑借在深度學習與自動語音識別方向做出的傑出貢獻，鄧力獲IEEE 技術成就獎。

Citadel 是全球最大的多策略對衝基金之一，目前掌管至少260 億美元資產，以其量化交易策略及程序化交易係統出名。在美國，Citadel 還是最大的期權交易機構和經紀交易商之一。相比其巨額資產管理規模和高杠杆，Citadel 更引人注目的是擁有華爾街「最大牌」的「金融顧問」——前美聯儲主席伯南克。

Citadel 去年雇傭了來自德意誌銀行、專注機器學習的量化交易專家Christian Hesse。其它全球著名對衝基金如Man Group、Winton 、Aspect Capital 也在充實自己的機器學習專家隊伍。

以下是機器之心對鄧力的研究曆程所做的梳理：

1978-1982 年鄧力本科就讀於中科大，學習神經科學和生物物理學專業。1982 年前往美國研究聽覺神經係統與其計算模型。

1984-1986 年在完成博士論文期間，他用物理模型和神經模型來做人類聽覺模擬和語音識別。但受當時的客觀條件限製，神經網絡運算速度太慢。他也嚐試過提取生物模型特征加入隱馬爾科夫模型裏，結果同樣不理想，因為兩者並非成熟的、可匹配的係統。後來，他發現純統計方法更有效。因此從80 年代中末期至深度學習爆發前，鄧力一直在做包括統計模型和計算人工神經網絡在內的相關研究。

1993-1994 年左右在加拿大滑鐵盧大學任職教授期間，鄧力和他的一位博士生合作了一篇論文：當把線性項加到非線性項之後，可以增強神經網絡的記憶能力。他做了很多數學上的推演，來分析為何記憶能力可以得到增強。雖然當時的計算機的計算力不夠，模型也很簡單，但這已經是一套完整的係統。當他們把這個結果真正用在語音識別上時，卻還是沒能獲得大大超過隱馬爾科夫模型的性能。這位博士生論文的External Examiner 是Geoffrey Hinton，他看過論文後表示「神經網絡成功真是太難了」。雖然博士生拿到了博士學位，但這次研究的結果讓鄧力暫時放下了神經網絡的研究，開始轉向貝葉斯統計方法和生成模型（Generative Models）。

1999 年底，鄧力放棄滑鐵盧大學的終身正教授職位正式加入微軟美國研究院，主攻語音識別和機器學習方向。在有效的深層神經網絡學習方法發明之前，他用貝葉斯網絡方法把隱馬爾科夫模型（頂層）和人類語音生成模型相結合，並設計了很多層次，以期將重要的物理現象模擬出來。隱馬爾科夫模型隻是模擬了大腦對語音符號編碼的行為，但整個語音生成過程中還包括肌肉運動控製、口腔內聲道運動等環節，最後通過聲學轉化才能變成語音，這就需要包括對噪音環境的模擬等在內的許多層次。這種多層結構能自然地用深層生成模型來實現。

2002 至2006 年期間，鄧力在微軟領導一支團隊在這方麵做了很多研究工作，當時相對有效的機器學習工具是貝葉斯網絡等方法。但如果隱含變量層數很多，並且在動態過程中進行語音識別，它的學習和推斷過程很難駕馭，增加層數後帶來的計算複雜度呈指數級增長。他們發明了很多方法來近似指數級增長的計算，近似之後結果還不錯，但與精心設計和調製的隱馬爾科夫模型相比，準確率上並沒有非常大的進步。

後來，鄧力了解到Hinton 2006 年關於深度信念網絡的論文（注：《A fast learning algorithm for deep belief nets》），其模型也是有很多層的生成式的結構，但卻並沒有出現計算複雜度無法駕馭的問題。

2009 年，鄧力請Hinton 作為他的顧問來微軟深入討論這些問題，他們發現深度信念網絡比較容易的原因之一是它不涉及動態。因此鄧力和研究團隊把嚴謹的動態模型暫時去掉，將時域上相鄰的向量數加大來近似嚴謹的動態模型。最後得到的簡化模型就成為目前著名的深度神經網絡。同時，鄧力和Hinton 同他們的同事與學生合作把隱馬爾科夫模型和深度神經網絡結合起來。

2010-2011 年鄧力和團隊在微軟經過大規模的實驗後，使得深度神經網絡在工業界的大型語音識別上取得了革命性的突破。在此期間及隨後數年，鄧力每年都抽空到中國演講深度學習，語音語言處理和人工智能，包括微軟亞洲研究院，中科大，清華，北大，訊飛，台灣中研院，以及IEEE 和其他協會組織的會議。

2011 年之後，鄧力和團隊繼續對深度神經網絡做了一係列的改進，包括引入深度LSTM 循環網絡，深度CNN 和新型的學習方法，例如sequence learning 和ensemble learning。這些創新繼續大幅提高語音識別準確度，並成功將之整合入語音理解和語音翻譯。

2014 年初，鄧力在微軟創立Deep Learning Technology Center（DLTC）。2016 年初，微軟執行副總裁陸奇任命他為首席人工智能科學家。自2014 年初，鄧力組建並帶領全新並日益增大的DLTC 團隊將深度學習的成功從語音識別，理解和翻譯擴展到公司多方麵的業務。這包括基於DSSM，LSTM 和記憶網絡的互聯網（Bing）搜索和問答，電子郵件及企業文件搜索，聊天和對話機器人，具備解釋性和深度學習高效能的機器閱讀/問答/翻譯，多模態深度學習，看圖說話，市場和銷售數據的深度學習及商業應用，等等。同時也在公司內培養的一大批精通深度學習的工程師和研究人員。

2016 下半年，微軟執行副總裁沈向陽任命鄧力為微軟人工智能學院（AI School）的總負責人組建學院。經過幾個月的努力，學院建成並於2017 四月底成功畢業了一批來源於美國微軟工程師的首屆學員。