秒殺Deepfake！微軟北大提出AI換臉工具和假臉檢測工具

【新智元導讀】人臉識別的“利矛與堅盾”同時出爐！微軟亞洲研究院和北京大學最近聯合發表2篇重量級學術論文，提出了FaceShifter和FaceX-Ray——前者是一種高保真、能夠感知遮擋的AI“換臉工具”，後者則是針對偽造人臉圖像的通用檢測工具，在取得業界領先的性能的同時，所需數據量也少得多。戳右邊鏈接上 新智元小程序 了解更多！

最先進的AI和機器學習算法不僅可以生成栩栩如生的位置和物體的圖像，還擅長將人臉頭像從一個人換成另一個人的。另一方麵，研究人員也在不斷開發能夠檢測deepfake假圖像的識別工具。這場在機器學習圖像識別領域的“矛與盾”之爭愈演愈烈。

最近，微軟研究院和北京大學的研究團隊就同時造出了一對“利矛”和“堅盾”，他們發表的兩篇論文分別提出了FaceShifter和Face X-Ray——前者是一種高保真度、可識別遮擋的換臉工具，後者則是能夠檢測偽造人臉圖像的工具。

研究人員表示，與多個現行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得業界領先的結果，而且所需的數據比以前的方法少得多。

利矛：高保真度換臉工具FaceShifte

這個新工具采用兩層框架結構。過去換臉應用的主要困難在於提取麵部特征，然後將兩張圖的特征和屬性組合在一張圖中，最近基於GAN的工作取得了明顯進步，但仍然在合成高精度、真實圖像結果上麵臨挑戰。

研究人員提出了一個新的兩部分架構，稱為FaceShifter，可以實現高精度和遮擋條件下的換臉。第一部分通過充分，自適應對目標屬性進行挖掘和集成，生成高清換臉圖片。使用新的屬性編碼器，提取多級目標的人臉屬性，利用自適應注意力非正規化（AAD）層的新生成器整合人臉合成圖片的特征和屬性。

架構的第二部分主要解決麵部遮擋問題，這部分包括一個新的啟發式錯誤確認細化網絡（HEAR-Net）。訓練後，可以以自監督的方式恢複圖像的異常區域，無需任何手動注釋。在新麵部圖像上進行的大量實驗表明，與其他方法相比，本文模型生成的換臉圖片結果不僅在感觀上更真實、更具吸引力，而且還保留了原圖像更多的特征。

第一階段的AEI-Net結構。AEI-Net由身份編碼器，多級屬性編碼器和AAD生成器組成。AAD生成器使用在AAD層上構建的級聯AAD ResBlk，可在多個功能級別中集成圖像特征和屬性的信息

第二階段的HEAR-Net和生成效果

與FaceSwap、Nirkin、FaceForensics ++、DeepFake、IPGAN 等模型生成效果的比較。我們的模型更好地保留了源圖像的臉部形狀，也更忠實於目標屬性（照明，圖像分辨率）

與現有其他換臉模型的性能效果對比

堅盾：麵部假圖像檢測工具Face X-ray

典型的換臉合成方法包括三個階段：1）檢測麵部區域；2）合成期望的目標麵部 3）將目標麵部融合到原始圖像中。現有的對麵部合成圖像檢測通常麵向第二階段，並基於數據集訓練有監督的每幀二進製分類器。這種方法可以測試數據集上實現近乎完美的檢測精度，如果遇見訓練時沒見過的假圖像，性能會出現明顯下降。

與現有方法不同的是，Face X-Ray不需要事先知道操作方法或人工監督，而是生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個圖像的混合。研究人員聲稱，這種方法是可行的，因為大多數方法在將已改變的麵部混合到現有背景圖像的過程中，有一個步驟是相同的。每個圖像都會從硬件（如傳感器和鏡頭）或軟件（如壓縮和合成算法）中引入的自己獨特的標記，並且這些標記在整個圖像中趨向於類似呈現。

Face X-Ray不需要依賴於與特定人臉操作技術相關的偽影知識，並且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓練。

在一係列實驗中，研究人員在Face Forensics++（一個包含1000多個用四種最先進的麵部操作方法操作的原始剪輯的大型視頻語料庫）和另一個包含由真實圖像構建的混合圖像的訓練數據集上訓練了Face X-Ray。他們評估了FaceX-Ray使用四個數據集進行概括的能力：

上述FaceForensics++語料庫的一個子集；Google發布的數千個視覺deepfake視頻集合，deepfake檢測挑戰賽的圖像；以及Celeb-DF，一個包含408個真實視頻和795個合成視頻且視覺偽影減少的語料庫。

研究結果表明，Face X-Ray 能有效地識別出未被發現的假圖像，並能可靠地預測混合區域。研究人員指出，這個方法依賴於一個混合步驟，因此可能不適用於完全合成圖像，可能被對抗性樣本騙過。不過，這確實是邁向通用化麵部偽造圖像檢測工具的有希望的一步。

作者介紹

這兩篇文章的作者來自微軟亞洲研究院（MSRA）視覺計算團隊，團隊成員大部分畢業於中科大、北大等國內名校，也都有過在MSRA的實習經曆，多人獲得Fellowship獎。下麵以網上公開信息為基礎，介紹一下這兩篇文章的作者。

李淩誌

北京大學碩士研究生，北京交通大學工商管理學士。過去一年在MSRA視覺計算團隊研究實習生。研究興趣是計算機視覺、機器學習和深度學習。對生成模型和Deepfake檢測領域特別感興趣。

鮑建敏

MSRA視覺計算團隊研究員。此前於2014年和2019年獲中國科學技術大學理學學士、博士學位，師從羅傑波教授和李厚強教授。研究興趣是計算機視覺，機器學習。對人臉檢測，識別，合成以及GAN領域特別感興趣。

Zhang Ting

MSRA視覺計算團隊高級研究員。在2017年7月加入MSRA之前，分別於2012年和2017年獲中國科學技術大學學士、博士學位。2013年至2017年在MSRA實習，並於2015年獲得了MSRA Fellowship獎。目前研究興趣集中在計算機視覺的深度學習上。

楊昊

2017年末加入MSRA視覺計算團隊。此前在清華大學軟件學院獲學士、博士學位。研究興趣包括但不限於對麵孔，肖像和3D圖像的理解和合成。

陳棟

2015年7月加入MSRA視覺計算團隊。此前分別於2010年和2015年獲中國科學技術大學學士、博士學位。2010年至2015年在MSRA實習，並於2013年獲得MSRA Fellowship獎。

Wen Fang

MSRA視覺計算團隊首席研究員。

郭百寧

微軟亞洲研究院常務副院長，負責圖形圖像領域的研究工作。郭博士擁有美國康乃爾大學碩士和博士學位，北京大學學士學位。他還是電氣電子工程師學會會士（IEEE Fellow）和美國計算機協會會士（ACM Fellow）。研究興趣包括計算機圖形學、計算機可視化、自然用戶界麵以及統計學習。在紋理映射建模、實時渲染以及幾何模型等領域取得的研究成果尤為突出。

參考鏈接：

https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/

論文鏈接：

https://arxiv.org/pdf/1912.13457.pdf

https://arxiv.org/pdf/1912.13458.pdf