微軟研究院新論文：按語義結構遷移圖片視覺屬性

原創 2017-05-04 擅長舉栗子 量子位

唐旭 編譯整理

量子位 出品 | 公眾號 QbitAI

最近，來自微軟亞洲研究院和上海交通大學的Jing Liao、Yuan Yao、 Lu Yuan等人寫了一篇題為“通過深度圖像類推實現視覺屬性遷移”的論文，這篇論文提出了一種新的、有趣的圖像風格遷移方案。論文將會發表在本月21號舉辦的SIGGRAPH 2017上，以下是論文的主要內容：

我們提出了一種新的視覺屬性遷移技術，應用於那些在外觀上差異很大，但卻有著相似語義結構的照片。視覺屬性遷移其實具體是指，將一張圖像的視覺信息（如顏色、色調、紋理、風格）遷移到另一張圖像上。比如，你可以將一幅油畫或者素描變成一張描述相同對象的實景照片。

這一技術能夠發現兩幅輸入圖像之間具有語義學意義的密切關聯。而為了實現這一目的，該技術采用了“圖像類推”的概念——其特性由一種用於匹配的深度卷積神經網絡中提取而出。我們將自己的技術稱作“深度圖像類推”。在計算、尋找圖像間的最大的相似點時，該技術運用了一種由粗到精的策略。我們在多個不同的案例中驗證了這一方法的有效性，這些案例包括風格/紋理轉移、色彩/風格交換，以及將油畫、素描變成照片或延時攝影。

1. 照片→風格

用戶可以將特定藝術作品的風格應用到自己的照片上。

△ 獸人永不為奴！

2. 風格→風格

實現表現內容相關但風格相異的藝術作品間的風格互換。

△ 每行兩端是初始的兩幅作品，中間兩幅是生成的結果。

3. 風格→照片

將包括素描、油畫、CG等在內的藝術作品轉化成實景照片，當輸入的照片和藝術作品內容相近時，生成的結果會更為真實。

4. 照片→照片

將兩張照片間的色彩或色調進行互換。

△ 卷福：你們把照片擺成這樣是幾個意思啊喂！

Paper：

https://arxiv.org/pdf/1705.01088.pdf

對Paper的補充材料：

https://liaojing.github.io/html/data/analogy_supplemental.pdf

招聘

我們正在招募編輯記者、運營等崗位，工作地點在北京中關村，期待你的到來，一起體驗人工智能的風起雲湧。