微軟張若非：搜索引擎和廣告係統，那些你所不知的AI落地技術

【12月公開課預告】，入群直接獲取報名地址

12月11日晚8點直播主題：人工智能消化道病理輔助診斷平台——從方法到落地

12月12日晚8點直播：利用容器技術打造AI公司技術中台

12月17日晚8點直播主題：可重構計算：能效比、通用性，一個都不能少

作者 | Jane

出品 | AI科技大本營（ID：rgznai100）

這兩年，被譽為“皇冠上的明珠”的自然語言處理領域發展愈發火熱，成為了業內新寵，而搜索和廣告這兩大老牌技術領域似乎已被大家遺忘。其實，這兩大接地氣的工程領域仍是各企業競相搶奪的市場之一。

近日，AI科技大本營采訪了美國微軟人工智能和研究部高級研究總監張若非。他現在帶領團隊負責必應廣告平台算法、機器學習模型及大規模離線和在線係統的研發和運營，支持包括必應和雅虎搜索引擎、亞馬遜、AOL 等在內的眾多應用。加入微軟前，張若非任 Yahoo 研究院主任科學家和研發總監，管理數據挖掘和相關性優化部門，開發運營了雅虎麵向全球市場的搜索及顯示廣告算法和係統。

采訪中，張若非從微軟的必應廣告平台、搜索引擎技術與應用出發，談了他多年的研發工程實踐經驗，以及對未來AI的技術發展趨勢、值得關注的技術領域等問題的看法。

以下為采訪內容實錄：

AI科技大本營：微軟必應的大規模廣告係統中是否運用了最新發表的研究成果？未來又有哪些新技術研究會有更多應用機會？

張若非：我帶領的團隊並不是純研究型團隊，研究的問題大多來源於產品業務中真正麵臨的一些難題，針對這些難題進行科研攻關並將研究成果嵌入到產品中。比如最近發表在KDD 2019上的最新工作，發表論文不是團隊核心和唯一目的，是在解決問題的過程中，團隊提出了新穎的想法、有效的解決方案，才將這些成果整理後發表。而目前大部分研究成果已經部署於產品中，隻不過部署規模有所不同，有的已經完全部署，有的還在運行調優階段。

雖然大家已經很熟悉搜索引擎和廣告係統，似乎這兩個領域很少能帶給大家炫酷的感覺，但是現在深入研究的新模型和方法在拓展新業務或場景中還是有很多可能的，比如強化學習在內容生成領域中應用發揮的價值。

以前，大家對強化學習研究與應用的了解大都圍繞遊戲領域，現在，我們團隊已將深度強化學習應用於自動生成廣告任務中。根據廣告商的網頁，係統化地理解網頁中可提供的服務、銷售的產品類型，從而幫助自動生成廣告標題、描述等。當然，這些任務也可以通過NLP中諸如Seq2Seq、BERT等效果不錯的深度學習模型來完成，但是，除了生成內容的質量，還需要有一些“Reward”因素可以給模型生成的結果一定的牽引作用，如點擊率，從而知道生成的結果對用戶是否有吸引力。

如果我們在廣告係統中加入一個點擊率模型產生廣告生成模型的獎勵，通過用戶的點擊行為評估廣告內容，評判廣告的吸引力，從而不斷提高廣告生成模型的性能以直接提升業務指標。深度強化學習是我們所選擇的技術方法，強化學習中的「反饋」可以引導我們有方向的優化廣告係統，提高廣告質量，預測用戶點擊的期望值。

通過實驗的對比評估，我們發現，讓用戶在深度強化學習生成的廣告和人工生成的廣告進行選擇，52%用戶認為深度強化學習係統生成的廣告更有吸引力，30%多的用戶認為人工生成的廣告更好，10%的用戶認為兩類廣告無差別；而廣告投放後，再對比 CTR指標，發現深度強化學習方法有 12 %提升。所以，通過強化學習中的「反饋」與「激勵」引導內容生成，未來在廣告係統或推薦係統中的應用是值得關注的方向。

AI科技大本營：如何看待從技術研究到落地的鴻溝問題？

張若非：首先，從不斷的調參、係統優化、增加的規則到處理諸多邊緣問題，現有的產品係統、技術架構是經過多年的打磨而成的，新技術、新係統即使有某些效果的提升，也無法做到完全替換現有係統，保證已有的效能，所以，新技術是不斷迭代，與現有係統結合，加持於整個係統中的，這是新技術落地的常見方式之一。

其次，在新技術不斷實驗和快速迭代中，團隊也會不斷發現新問題和解決問題，比如不斷調參調優來優化深度學習模型，使之逐漸達到現有係統的性能；而除了模型本身的優化工作，係統調優也是一個大問題，一些新模型的計算量都非常大，高延遲、高消耗限製了部署的可能性，團隊需要和負責係統的團隊一起合作做很多優化工作，提高係統性能，把係統處理速度、規模、存儲及穩定性等性能指標逐漸提高至現有產品係統的標準，這些都是把研究落地到產品中需要重點關注和解決的實際問題。

AI科技大本營：目前的搜索引擎技術有哪些提升空間？

張若非：搜索引擎雖然已經存在很長時間，但是，一直以來我們都沒能真正的理解和回答用戶的很多問題。傳統的搜索引擎中，當用戶輸入一個問題後，會返回一些鏈接，用戶自己選擇哪個鏈接是自己需要的，往往真正得到解決一個問題的答案，需要多次瀏覽多個網頁。比如，你想問“小孩的安全座椅怎麼安裝”、“怎麼更換淋浴花灑”等此類任務場景下，搜索引擎可能會告訴你安全座椅的介紹、種類或商家等信息，它完成的是一個檢索工具的使命，但未必能簡潔扼要地回答你的問題。

現在的搜索引擎會直接給你需要的答案嗎？告訴你答案後，它能真正理解你的提問意圖，進而提供你完成這件事後續需要的信息嗎？比如，通過你的提問，分析你的問題和意圖，當你想要一個驅動程序時，告訴你具體操作的步驟與方法？這是大家現在在研究和解決的問題之一。

除了真正理解用戶的問題，直接提供答案，當一些問題或知識存在於不同體係、不同組織，有一定距離時，需要我們可以再組織、挖掘其中的關係，這說明知識圖譜技術仍需不斷拓展，以支撐搜索引擎提供更好的服務。

深入用戶在搜索引擎中輸入的問題本身，抽取相關信息，真正理解用戶意圖，進行個性化分析，預測用戶需求，也是現在的主要工作之一。比如，用戶輸入亞馬遜，一般情況下會給出亞馬遜公司相關的信息，但如果近期搜索這個詞，大家可能更關注的是亞馬遜雨林大火，所以，在具有一定模糊性、特殊性情況下，搜索引擎如何能更好的理解用戶意圖，把知識以更加結構化、係統化形式組織並呈現，無論是技術方法還是產品邏輯，都還有很大的提升、改善的空間。

AI科技大本營：如果企業決定在業務係統中使用新技術，有什麼建議？

張若非：第一，如果企業想利用這些最新的技術，可以在企業內部專門設立相關團隊或部門，負責訓練、評估新模型，這也意味著投入相應的人力和算力成本是必然的；數據可以用公開數據集，也可以結合企業特有的一些數據，再放到企業的部分業務中進行調優、評測。

第二，深度學習模型的訓練推理涉及大量的計算，係統的延遲成本是非常昂貴的，所以我們通常會采用teacher-student model，teacher model 有很高的capacity，比 student model包含更多的信息和規則，student model 則比較簡單，訓練和推理速度都比較快，結合teacher 和student 兩個模型的特點，不失為一個值得嚐試的方法。目前很多深度學習模型在線推理還無法滿足實際產品的延遲要求，所以，訓練一個輕量級的model在真實部署應用中是更現實可行的方法。

以上這兩點建議的前提都是如果企業決定在業務係統中使用不斷出現的新技術。但是，企業一定是根據自己的具體需求，要解決的任務來決定。目前模型效果如何？是否可以切實提升產品效果？提升的空間有多大？最後，還有新技術的投資與回報比的問題？無論是否使用新技術，對於一個企業來說，研究了解新技術還是必要的，新技術的強項與弱點，適合哪些問題等等，如果沒有了解與不斷學習，掉隊是必然的。

AI科技大本營：未來，還有哪些熱門研究問題？

張若非：Pre-training 仍是目前的的熱門研究領域之一，它為我們打開了無監督學習這扇窗，我們可以用海量、無標注數據學習特征表示，我們也在一些NLP任務中看到了效果。未來，Pre-training和Fine-tuning都是領域內的熱門研究方向，諸如通過優化training來提高速度、如何做 online Inference、提高係統層麵的效率等問題 ，也都是值得大家關注的研究問題。

第二個值得關注的方向是圖神經網絡。目前，深度學習係統處理的數據大多是聲音（一維數據）、圖像（二維數據）、文字（序列數據）。在實際產品中我們會遇到更多複雜的、非標準和規則的半結構化數據，如何用結構化方法學習是目前圖神經網絡重要研究的問題，在工程實踐中也會麵臨一些挑戰。

第三個值得大家關注的是聯邦學習，研究如何保護數據安全和所有權，以及用戶數據隱私的問題。隨著大家對數據越來越重視，很多公司聲明，不會將用戶數據上傳至服務器，也不會追蹤用戶的使用數據，這在很大程度上給公司的業務帶來了很大的挑戰。如何在保護用戶數據隱私的情況下又不影響模型訓練性能和業務指標，是目前國內外很多公司迫切想要解決的問題，比如在廣告係統中，推薦和個性化業務都需要基於用戶的曆史記錄，保護了用戶數據，必然對業務平台造成影響。因為對這個問題解決方案的迫切需求，聯邦學習成為我們研究的熱點。

用戶提問

采訪前，我們向CSDN讀者提前收集了一些用戶提問，張若非回答了部分提問，解答大家在學習、從業及未來職業規劃的疑問。

1、深度學習和數學建模的聯係是怎樣的？

張若非：數學建模比深度學習的內涵更大，但深度學習模型離不開建模。數學建模，是把一種事件或者一種現象，用某一數學公式來表達，比如泊鬆分布是對一天中在公共汽車站等車的乘客個數的一種描述。有了數據建模，把數據放到這些數學模型或分布中，就可以進行預測。而深度學習是從數據中自動產生多層不同結構的神經網絡模型，在參數未知的的情況下，用數據不斷進行 fine-tune，從而學到針對某些數據的模型，所以，數學建模是包含深度學習的。

2、對於入門深度學習，代碼裏的函數都看不懂，是不是需要一個一個的查？

張若非：首先，要看你用的是什麼深度學習模型，如果是一些經典的模型，比如AlexNet、ResNet等，我想你需要深入看一些，理解函數的用途，知道每一層或每個函數是如何調用的。而對於一些最近的技術模型，如 BERT、XLNet，如果你隻想把它視為一個“黑盒”，保證模型可以work，代碼細節也許不是最重要的；當然，如果你本身對它感興趣，想知道每步在做什麼，深入研究還是有必要的，不僅知其然，還知其所以然。

3、機器學習和深度學習模型中哪些模型比較適合性能較低的邊緣網關？

張若非：很多深度神經網絡很深，比如BERT-Large有24層的Transformer。如果想要適合性能較低的邊緣網關，首先在模型結構方麵，可以考慮用層數不多的模型，可以嚐試上麵提到的teacher-student方法，用深模型訓練淺模型，使模型不那麼深；第二，模型要做降維，高維降低維；第三，考慮模型壓縮，除此之外，最好你的網關是有並行計算能力的，即使沒有 GPU，一些並行計算的矩陣計算庫如MKL也可以幫助進行並行計算。

4、如果強調數據安全性，能否有相應的手段保證多個節點間通過模型共享，而不是數據共享？

張若非：其實，這個答案就是聯邦學習。不管你是什麼樣的模型，不共享數據，也不共享完全相同的一個模型，通過專門設計的分布式模型訓練和分發機製可以做成這件事。

5、雖然現在技術層麵上各種模型層出不窮，但個人感覺對企業來說還是價值有限，部分企業所使用的人工智能，好像隻是把統計方法或數據挖掘方法換了個說法而已。到底是企業的路數不對，還是人工智能的發展遇到了瓶頸？

張若非：現在人工智能很熱，但是它主要在幾個領域上有比較大的用途。一是互聯網領域，有大量的數據，互聯網公司有大量的計算資源，有直接應用人工智能技術的場景，但是，大量的傳統企業，比如教育、農業，其實並沒有真正應用前沿的深度學習模型，應用的仍是機器學習模型，如果要說使用了深度學習技術，也是在積累數據，分析這些數據，得到了相關性的結果，但還沒有做到預測，這些確實是企業麵臨的一個實際問題。此外，企業中的痛點並沒有通過這些技術得到徹底解決，看到一個翻天覆地的變化。同時，在企業中人才也是非常重要的資源。這些因素都是造成目前現狀的原因。

但是，未來 AI 的技術發展還是會繼續推動著企業應用AI技術的腳步前進。一方麵，非AI企業在現在的大趨勢下，也會猶疑如果不使用這些是否會被落後淘汰；其次，現在很多機器學習模塊、工具都會部署到雲端，越來越多的企業可以在自己的業務中直接使用雲端中的工具和模塊，自己上傳數據後創建一個模型，應用AI技術的門檻會被逐漸降低，進而再根據自己企業的情況做評估，更有目標和方向地製定下一步技術戰略。在微軟，我們也在雲計算Azure平台上提供很多機器學習的框架和工具，比如認知服務，來民主化人工智能的開發和部署。這些都可以繼續推動技術在互聯網行業，甚至在其他行業領域中的應用。

6、您在國外長期學習、生活和工作，結合個人經曆，您認為對於國內外的學生和開發者來說，麵臨著怎樣的機會和挑戰？

張若非：首先，我覺得對國內的初學者來說，一個很明顯的現象就是學習AI的門檻降低了。越來越多的開源，公開資料，讓原本枯燥的研讀Paper，複現模型這些過程不再成為學習過程中的攔路虎，現在大家可以比較容易地直接run一個模型，讓一個模型work。至於想要知道這個模型是“如何work”、“如果不work怎麼辦”，就對大家提出更高的要求。同時，國內對人工智能發展的重視及國家提供的各種鼓勵政策和條件，國內移動互聯網地蓬勃發展，以及對數據和用戶隱私相對寬鬆地態度對國內的學生和開發者從事AI研發和應用來說是很好的機會。

9月21日，在聚焦機器學習與深度學習的技術沙龍上現場還發布了張若非及團隊撰寫的新書《深度學習模型及應用詳解》，同時，張若非等技術專家在現場帶來了精彩的演講，技術沙龍直播回顧：

人工智能火熱發展的這幾年，吸引了越來越多的學生、開發者投身於AI的學習與工作。然而，前幾年，國內本土的優質學習資源非常匱乏，讓大家無從選擇，如今各類學習資源、技術圖書不斷出現在大家視野中，大家已經身處其中而“無法選擇”了。如何能快速遴選出適合自己、讓自己獲益的一本好書？《深度學習模型及應用詳解》是你的一個選擇。

采訪嘉賓：張若非，美國紐約州立大學計算機科學博士。微軟（美國）人工智能和研究部高級研究總監，全球合夥人，《深度學習模型及應用詳解》作者。負責微軟在線廣告平台機器學習模型、算法及係統的研究和建設。研究領域包括機器學習、數據挖掘、自然語言處理、計算機視覺和多媒體信息檢索。在這些領域的一流學術期刊和頂級學術會議發表論文50餘篇，獲得美國發明專利14項。美國國家自然科學基金會（NSF）智能係統評審委員會委員，IEEE和ACM高級會員。