微軟的這些人工智能研究讓每個人瞬間變成藝術家

AI科技評論按:在當前這個時代,可能你完全沒有藝術細胞,不過沒關係,人工智能和機器學習方麵的最新研究將幫助你,讓你瞬間成為藝術家——你上傳照片或視頻,它能迅速將其轉化成有創造性的、可以拿出來展覽的藝術品。

據了解,目前微軟在雷德蒙德和北京的研究人員目前就在開發這麼一種利用人工智能的計算機視覺技術,它能夠將藝術風格應用到你上傳的照片或視頻上,甚至還能夠將兩張照片的視覺風格進行交換,例如把阿凡達和蒙娜麗莎揉合在一起。

這種圖像風格交換的技術被稱為StyleBank,現已應用到今年六月份更新的一款手機軟件微軟Pix(Microsoft Pix)。微軟Pix是一款集成了微軟在智能算法上20多篇研究成果的軟件,它能讓用戶按下快門即可得到一張漂亮的照片。

風格交換的研究主要是探究如何將藝術風格從一張圖片轉移到另一張圖片,例如將後印象主義的風格應用到你後花園的照片上。而對像微軟Pix這樣的應用,其挑戰在於如何為用戶提供更多的可選風格,以及快速高效地將風格應用到圖像上。

StyleBank的研究人員對這一問題的解決方案是,將視覺風格明確地表示為卷積濾波器組的集合,每一個卷積濾波器組代表一種風格。當要將圖像轉換成特定風格時,自動編碼器會將輸入圖片分解為獨立於任何一種風格的多層特征圖。隨後用選擇的風格所對應的濾波器組與多層的特征圖進行卷積,最後再通過解碼器對卷積後的圖像進行渲染。在此,神經網絡完全將風格與內容分離。 與這個領域其他方法相比,由於明確地表示為卷積濾波器組集合,這種方法能夠更有效地訓練出新的風格,更快速地渲染風格化後的圖像。這樣就解決了微軟Pix上述的兩個問題。

StyleBank的主要研究成員是微軟北京實驗室的研究員Gang Hua、Lu Yuan 、 Jing Liao以及實習生 Dongdong Chen 。其中Gang Hua是微軟亞洲研究院視覺計算組的首席研究經理,同時還是斯蒂芬技術研究院的訪問教授；Lu Yuan是微軟亞洲研究院的視覺計算組的首席研究員。他們與微軟研究院的微軟Pix團隊進行了密切的合作,將這種風格交換的功能集成到了微軟Pix軟件當中。2017年7月21日至26日在夏威夷檀香山舉行的2017計算機視覺與模式識別大會(CVPR 2017)上,Gang Hua的團隊介紹了他們的這項工作。

不僅如此,他們還擴展了StyleBank的技術,以在線的形式呈現穩定的風格化視頻。他們利用連續幀之間特征對應的瞬時信息,實時地獲得一致且穩定的風格化視頻序列。該技術自適應地混合了來自前一幀和當前幀的特征圖,有效地避免了在逐幀渲染視頻中普遍存在的重影假象。他們這項技術將會在今年10月22日至29日意大利威尼斯舉辦的2017年國際計算機視覺大會(ICCV 2017)上發表。

此外,他們(除Lu Yuan,Jing Liao外,參與此項工作的還有在美國雷德蒙德微軟研究院認知組的Sing Bing Kang)在7月30日-8月2日洛杉磯舉行的SIGGRAPH 2017上還報告了他們的另外一項研究工作。這項工作描述了一種用於圖片間視覺屬性轉換的技術,即兩張明顯不同的但有視覺上語義相似結構(圖片包含相似的視覺內容,例如都有一張臉)的圖片能夠相互交換屬性。

例如,利用他們這項技術可以將《阿凡達》中一個角色的臉放到達芬奇的蒙娜麗莎中,反之也可以將蒙娜麗莎的臉放到阿凡達的角色中。這項技術主要就是在兩個輸入圖像之間找到強語義對應,這就像我們在語言中進行類比一樣,所以他們把這項技術稱為“深度圖像類比”(Deep Image Analogy)。

表示,期待今年這三場會議中他們能將以上這三項技術的更多細節分享給我們,以後至少不會不明不白地“被”成為藝術家。