BOP上屆冠軍分享｜隊長楊劍飛：日夜奮戰，我們是一支四人

2017微軟編程之美挑戰賽決賽已經打響，8月15日北京微軟大廈，決賽隊伍將帶著各自的作品展開巔峰對決！在期待決戰的同時，我們為大家帶來了去年冠軍隊伍的故事。其中除了個人感受，更有珍貴的參賽經驗分享，BOPers不要錯過哦！

風雨交加，日夜兼程，隨著火車到站的轟鳴聲，我睡眼惺忪地爬起了起來。拉開車廂的窗簾，清晨的陽光肆意地灑在臉上，洗刷了從廣州遠道而來的一路的疲憊。我趕忙叫起兩個隊友，“抵達上海，準備出發！”

忘了自我介紹，我叫楊劍飛，中山大學數據與計算機科學學院2012級的學生。去年攜兩名學弟高逸斌、王欽首次打進由教育部、微軟與IEEE聯合舉辦的2016編程之美挑戰賽全國總決賽。對我而言這是本科最後一戰，也是最有含金量的一戰，因為我已是南洋理工大學的在讀博士，開始追尋科研的夢想。

到達指定酒店後，我們稍作整頓便開始做比賽的日程規劃。比賽將於次日上午公布賽題，第三日上午提交並答辯，現場編程時間隻有12小時。我們通過分析往年題目推測出微軟提供的API應該會用得到，所以我們決定在賽題公布前先有針對性地把可能用到的API接口寫好，占據時間上的主動。當晚我們與所有參賽人員聚餐，並在team building中與來自山東大學主修工業設計的殷錕同學組隊，隊名 “多啦A夢隊”。

經過一晚修整，各支隊伍集結在微軟上海紫竹園區會議室，等待題目的宣布與比賽的開始。本次比賽除了種子團隊外，還有自密歇根大學與英屬哥倫比亞大學來中國交流的外卡隊。隨著大屏幕上倒計時的開啟，賽題也通過郵件發到了各隊手中：第一題是“語音搜圖”的智能電子相框，即通過一段語音在圖片庫中找到想要的圖片，屬於內容較為限定形式比較開放的半開放題目；第二題是“學術搜索可視化”，即將學術搜索擴展並可視化，屬於內容與形式都開放的題目，我們感到比較難以駕馭；第三題是外卡隊專題“數字金融犯罪偵查”，即利用比特幣區的大數據分析找到金融犯罪的銀行賬戶。經過頭腦風暴與激烈討論，我們從應用場景、可發揮程度和技術實現度對題目進行評價，並慎重決定決定選擇第一題，也是更多隊認為複雜的一題。

選題過後，作為隊長我首先與三名隊員進行技術討論，確定了此題在我們技術範圍內可以找到的應用點和創新點——匹配算法與手勢識別的融入，之後迅速分配任務，明確每個人的職責，王欽負責前端和手勢識別部分的構建，高逸斌負責後台服務器的邏輯和每個API接口的書寫，美女設計師殷錕負責將想法可視化並提供網頁前端的美工切片，我負責核心算法的模型訓練和圖片數據集的預處理，並充當產品經理的角色統籌決策。

按照我們的係統設計流程，語音作為原始輸入後通過微軟語音識別接口轉化為文字，之後我們使用一個官方提供的LUIS語義理解模型將文字轉化為語義，這時我們就找到了語音指令當中的命令和特征標簽，比如“找到上海拍攝的下雨的圖片”中“找到圖片”是命令而“上海”、“下雨”是特征標簽。這裏的特征標簽會與圖片庫中每張圖片的特征標簽做對比匹配，從而找到準確的匹配圖片。除了隊友們負責的如何更友好的呈現外，我在算法上要做的主要工作就是匹配算法和圖片的預處理。

匹配算法決定了找到圖像的準確率，經過詢問專門做文本挖掘的朋友，我們選擇了在這裏非常適合應用的Word2Vec算法，這個算法是將詞語轉化為數學向量的一種算法，在K維的向量空間中，詞語的語義信息更多地被提取了出來，從而可以度量兩個詞語間的相似程度，比如“動物”和“狗”，“牛排”和“刀叉”的相似度高，那麼我們就可以更加精確而廣泛地找到圖片。我們使用維基百科中文數據進行訓練，經過測試，模型對於生活詞彙較為準確。

經過一天的努力，我們基本完成了每個部分的原生代碼構建，在回酒店的車上我們商討了如何結合並決定徹夜奮戰！負責前後端的兩個學弟努力地調試和對接，直到淩晨4點才完工，而我的模型依然在訓練中，我在提前寫好測試代碼後也昏昏入睡。同房間的其它隊同學亦徹夜未眠，直接去附近的上海交通大學閔行校區通宵編程。壓力襲來，我們有條不紊。

第二天清晨，驚喜地看到模型訓練結束、成功載入並查詢相近詞成功後，我興奮地找到隻睡了3個小時的學弟，將算法融入後布置了上午的任務，將Web前端的鼠標操作全部改成基於手勢識別的操作！為了完成比賽所需的答辯文檔與PPT，我轉而投入到另一個問題中——如何更好更快地將我們的idea呈現給參觀人員與大賽評委。

首先，我們將作品命名為“Percepicture”，即感知的圖片，通過語音與手勢靈活智能地尋找和操控圖片。緊接著設計師殷錕將她設計的係統流程圖和用戶UI圖展示給我。

設計圖簡明美觀，詳細地介紹了整個流程，我配上節介紹文字如下：

基於Web前端和Python服務器所構建的“Percepicture”語音搜圖係統，通過微軟認知服務中的語音識別API和語言理解智能服務（LUIS）API將用戶的語音通過理解、轉化得到用戶的意圖。而圖片庫中的圖片則是經過圖像識別API進行預處理，將圖片的特征信息提取出來。當係統將用戶意圖與圖片庫中的圖片特征進行匹配就可以得到用戶想要的圖片了。在關鍵詞匹配的算法方麵，同學們創新地使用了word2vec深度學習模型。他們對圖片的標簽語料進行訓練並把詞語映射到高維向量空間中，將詞語匹配過程轉化成數學向量相似度計算。在當今的大數據時代，這既擴展了搜索的廣度又加深了搜索的深度，從而提高了搜索的準確率。在UI方麵，為了使交互更加友好同時符合展覽應用場景，係統中植入了基於手勢識別的體感操作，整個係統可以通過語音和體感兩種方式進行控製，大大增強了趣味性和互動性。

與殷錕溝通ppt的製作順序後，我急忙趕去學弟們一側錄製demo視頻，視頻中要測試和體現我們所說的一切功能，並讓評委老師感覺到生動和有趣。

緊張的編程階段結束後，即將迎來的是demo展示會。為了展示順利、不出bug，我們甚至沒有吃午飯。demo展示中每個隊伍一塊展板一張桌子，來自微軟的員工和外界媒體評審來一一參觀。在此期間我還驚喜地遇到了去年在台灣大學參加HackNTU認識的廖教授，原來這次的外卡題就是廖老親自出的題目。demo展示環節中，我們也走訪參觀了其它隊伍的作品，來自北大、北郵、上交、複旦等高校的選手都嚐試用不同的解決辦法進行技術攻堅，遇到難題時相互啟發找到了突破方案。而來自台灣大學的創意賽選手則非常擅於展示和表達，也給人留下深刻的印象；來自江南大學的創意賽選手在短時間內理解了作品背後的算法並做了清晰地闡述和表達，讓人佩服。

隨之而來的是封閉答辯，評委老師在看過每個隊的實物demo後，又經過我們簡潔有力的ppt展示和清楚明了的demo視頻展示，對我們隊伍和作品給出了高度評價。到那時，我們忐忑不安的心已經安定了下來，作品已經按照我們的idea完工，答辯也順利結束，結果對我們來說隻是外界的認同與否，而我們內心對順利結束編程和成功團隊合作的欣喜更為重要。我們喜笑顏開地與其它隊侃起了大山，聊到兩天比賽中發生的種種囧事，大家笑得很開心。幾個山東人湊到了一起侃起了家鄉，侃起了看似久遠的高考往事……

“所以我們揭曉本次微軟編程之美2016挑戰賽的冠軍是——多啦A夢隊！”隨著主持人在頒獎晚宴上隆重宣布，我們隊驚喜地跳了起來。24小時的編程順利結束，大賽組委會老師和同學們的認可讓我們感到驕傲！我們通過創新的設計、明確的分工、不懈的編程和細致的合作創造了團隊的力量，贏得了比賽，贏得了前往美國微軟總部遊學的機會！頒獎後我們隊四人還在美麗的上海灘扮演了許文強與馮程程，大家在歡聲笑語中結束了整個比賽。

返程的高鐵上，天空又淅淅瀝瀝下起了小雨，我們的心情卻如陽光燦爛，短短的三天時間裏，我們完成了一個創新的項目，熔煉了一個成功的團隊，認識了一撥兒誌同道合的朋友，值！

看著窗外快速掠過的上海，我們隻能揮手說再見，但對於這段珍貴而勞累的比賽記憶，it never fades away！Lucky to meet you guys！See you around！