SIGGRAPH 2017：深度學習與計算機圖形學的碰撞

每年由美國計算機協會（Association of Computing Machinery，簡稱ACM）計算機圖形專業組舉辦的年會SIGGRAPH，是全球最負盛名的圖形學和交互技術盛會。今年已經是這場圖形學盛宴的第四十四屆，本屆大會於7月30日至8月3日在美國洛杉磯舉行。

作為著名的好萊塢所在地，洛杉磯聚集了大量影視特效等工業界的從業人員，而SIGGRAPH正是工業界展示自己炫酷技術，以及和學術界交流的一個絕佳平台，所以SIGGRAPH組委會多次選擇洛杉磯作為大會舉辦地。

除了像其它學術會議一樣的學術界論文報告與交流之外，SIGGRAPH大會上各種應接不暇的新鮮技術展示、工業界各大公司五花八門的展覽會、以及藝術家們展現自己最新創作成果的動畫彙演都吸引著無數參會者的目光。SIGGRAPH會場的熱鬧程度堪比各種大型的博覽會。

深度學習邂逅圖形學

本屆大會上，令我印象最深刻的是會議第一天的主旨演講環節，大會邀請到了迪士尼第一位非洲裔動畫師Floyd Norman，以談話的形式，講述了他如何走上這條道路，以及自身成長的故事。Floyd還分享了自己對動畫這一領域的獨到見解。這場主旨演講除了在會場最大的報告廳進行外，會展廳的入口大廳處也擺放了現場直播的大屏幕，而在大屏幕前，很多誌願者、參觀者、學術界的教授席地而坐，專心聆聽動畫大師的分享。

在這樣一個圖形學盛會上自然少不了學術界的最新研究成果。對於圖形學領域的研究者來說，SIGGRAPH無疑是一個最頂級的發表和交流自己學術成果的舞台，能夠在SIGGRAPH上發表論文，就意味著自己的研究成果得到了國際同行的最大肯定。

今年學術報告一個很大的趨勢便是深度學習技術在圖形學領域開始生根發芽，有很多的論文試圖探索利用深度學習技術解決傳統的圖形學問題——在真實感渲染、表觀建模、幾何建模與分析等領域都有一些不錯的嚐試。除了論文的口頭報告，在SIGGRAPH大會舉辦的眾多講座和課程上，我們也能看到許多與深度學習相關的話題。由此可見，如何更加有效地將深度學習與計算機圖形學相結合，在近一段時間內仍然將成為圖形學學術研究的一大熱點。

本次大會上，微軟亞洲研究院共有四篇論文被接收。在這些研究中，我們對於如何利用深度學習技術求解圖形學領域的待解難題，也進行了新穎的嚐試。

其中，我有幸與微軟亞洲研究院的研究員們一起，在表觀建模方向上結合深度學習技術進行了一些探索。“Modeling Surface Appearance from a Single Photograph using Self-Augmented Convolutional Neural Networks”就是我們發表於今年大會的論文。

材質的表觀精確地刻畫了給定材質表麵的紋理顏色，以及它的反射、折射等屬性，這是對物體進行真實化渲染的重要參數，也是數字化重建的重要步驟之一。在這篇論文中，我們首次嚐試利用深度學習技術，僅通過一張未知光照條件下拍攝的平麵材質照片，就可以恢複出該材質的表觀紋理模型。

這其中最大的難點在於監督數據的嚴重缺乏。對於表觀建模而言，監督數據意味著一張給定的照片及它對應的表觀紋理參數。而表觀紋理參數的獲得目前還是一個很複雜的過程，需要複雜的采集設備和長時間的采集，或是藝術家複雜的交互建模。為了解決這個問題，我們提出了一種全新的自增強神經網絡的訓練方法，這種方法把真實感渲染這一表觀建模的逆映射引入到了訓練流程中，使得我們可以使用大量的無標注數據，即平麵紋理材質的照片，結合少量的標注數據一起對網絡進行訓練，從而得到和藝術家人工標注結果相近的表觀預測結果。

此外，微軟亞洲研究院也在本次大會上介紹了其他的圖形學最新研究成果，包括基於八叉樹的深度卷積神經網絡，可有效的將傳統麵向圖像的卷積神經網絡推廣到三維空間中；基於深度圖像類比的風格轉換，可以實現具有語義屬性的圖像風格遷移；以及交互式的草圖建模，可實現對自由曲麵的快速造型等。

精彩紛呈的技術展示

在學術報告之外，來自工業界和部分高校的新興技術展示也吸引了參會者的眼球。今年的各大廠商展台上，虛擬現實（VR）及增強現實（AR）技術成為了一個非常重要的主題，各大廠商各顯神通，展示了自己的最新技術成果，炫酷的體驗讓人大開眼界。

在大會的Etech（Emerging Technologies）環節，來自日本築波大學的微軟亞洲研究院實習生西田惇做了“Wired Muscle: Generating Faster Kinesthetic Reaction by Interpersonally Connecting Muscles”的demo展示，他與索尼計算機科學實驗室進行合作，通過使用配對的可穿戴設備引入一種新的運動學習形式，能夠基於生物信號測量和肌肉電刺激來分享兩個人之間的肌肉活動。這套可穿戴的肌肉I/O設備是西田惇在微軟亞洲研究院的硬件實驗室手工設計和製造的，可以通過在使用者的皮膚上施加刺激電壓來測量和控製肌肉活動。跟基於視覺刺激的反應過程相比，通過肌肉刺激，用戶可以更快地做出相應的運動動作。從而用於對抗性運動訓練以及康複治療過程。

可穿戴的肌肉I/O設備

該項研究論文已在今年5月份舉行的ACM SIGCHI 2017大會上做過口頭報告，而在本屆SIGGRAPH大會上的展示過程吸引了超過400名來自各個研究機構和公司的體驗者，收到了眾多有價值的用戶反饋和實驗數據。

參加學術會議，除了聽取世界各地學術研究者的精彩報告之外，和大家進行交流也是必不可少的一個環節。按照慣例，SIGGRAPH會議期間，大會舉辦了盛大的社交酒會，參加會議的學術界和工業界的從業者們，有機會和不同研究方向的人進行充分的交流分享。

SIGGRAPH就像一個盛大的聚會。正如本屆大會的宣傳口號“At the heart of Computer Graphics”所說的那樣，在這裏，學術界和工業界彙聚一堂，新鮮的技術和想法交織出了計算機圖形學最絢麗的火花。明年大會將移師加拿大的溫哥華舉行，期待來年的盛會能繼續為我們帶來更多新鮮的技術和炫酷的體驗。

作者簡介

李瀟是中國科學技術大學和微軟亞洲研究院的聯合培養博士生。在微軟亞洲研究院跟隨童欣研究員和董悅研究員從事計算機圖形學相關的研究。目前，他的研究興趣在於物體的表觀建模和重建，希望通過相關的研究，使所有人都能夠更容易地在虛擬世界創造和再現真實的物體材質，打破真實世界和虛擬世界的鴻溝。

西田惇是日本築波大學Cybernics研究中心博士生，曾獲得微軟亞洲研究院“微軟學者”獎學金以及日本文部科學省獎學金。他的研究主要是利用可穿戴設備去延展人的認知和活動能力，並應用到醫療輔助方麵。目前他是微軟研究院機器人與人機交互組的實習生，研究利用設備和微軟產品探索新的人際溝通方式。

相關論文

1. Modeling Surface Appearance from a Single Photograph using Self-augmented Convolutional Neural Networks

http://msraig.info/~sanet/sanet.htm

2. O-CNN: Octree-based Convolutional Neural Networks for 3D Shape Analysis

http://wang-ps.github.io/O-CNN

3. BendSketch: Modeling Freeform Surfaces Through 2D Sketching

http://haopan.github.io/bendsketch.html

4. Visual Attribute Transfer through Deep Image Analogy

https://arxiv.org/abs/1705.01088

5. bioSync: A Paired Wearable Device for Blending Kinesthetic Experience

https://www.researchgate.net/publication/313445073_bioSync_A_Paired_Wearable_Device_for_Blending_Kinesthetic_Experience

6. Wired muscle: generating faster kinesthetic reaction by inter-personally connecting muscles

https://www.researchgate.net/publication/318692672_Wired_muscle_generating_faster_kinesthetic_reaction_by_inter-personally_connecting_muscles

你也許還想看：

，共建交流平台。來稿請寄：msraai@microsoft.com。

微軟小冰進駐微軟研究院微信啦！快去主頁和她聊聊天吧。