微軟新XR研究成果（二）：除了注視點渲染，眼球追蹤還能做什麼

近年來，將VR與眼球追蹤技術結合逐漸成為一種趨勢，眼球追蹤技術不僅可以作為VR的一種交互/輸入方式，也可以與注視點渲染相結合，從而降低頭顯的功耗，提高渲染效率。或者，眼球追蹤也可以用於優化自適應遊戲AI、遊戲新玩法、預測用戶行為等。

除此之外眼球追蹤還有其他用途嗎？近期，在微軟向ACM用戶界麵軟件與技術研討會提交的三篇論文中，就曾有一篇展示了眼球追蹤在多種場景中偷換餘光畫麵的能力，為該技術指明了新的應用方向。（上一篇參考：《不用透視功能，戴VR頭顯上街是什麼感受》）

7種應用場景

據了解，微軟在論文中指出了一種名為Mise-Unseen（向法語Mise en scène致敬，指的是場麵調度，戲劇或電影製作的一種表現手法）的係統，主要用來改變你眼前的VR場景，比如利用注意力轉移，將你在遠處看到的物品悄悄轉移到跟前，或者根據你的喜好來改變場景中的布局等等。

在電影中，場麵調度指的是導演通過引導觀眾注意力的方式，讓他們看不到場景中的鏡頭或照明裝置，或者在觀眾視場角外改變場景。而在VR中，用戶的視角由自己控製，是不可控的。而且隨著VR頭顯視場角逐漸增大，可隱藏場景變化的區域就會更小，因此場景的改變隻能在用戶餘光視覺悄悄進行。（視網膜中央凹視場角為5°，中央視場角約為30°）

微軟研究院高級研究員Mar Gonzalez Franco表示：Mise-Unseen的概念來源於注視點與注意力之間的聯係，因為通常你看哪裏，你的注意力就在哪，同時也不會注意到其他地方。

因此，Mise-Unseen係統利用眼球追蹤來識別用戶的注視點，並結合顯著度/視覺幹擾等掩碼技術，然後通過感知模型來建議場景中作出何種改變不會引起用戶注意。比如，在虛擬畫廊場景中，Mise-Unseen會通過注視點來分析你的喜好，並改變你餘光部分其他油畫的風格。

除此之外，Mise-Unseen甚至可以用來強化用戶在VR中測試的準確性。比如說，在VR遊戲中，你需要解開一個謎題來計算出密碼，當然通常你可以通過不斷試錯來蒙對答案，甚至都不需要看謎題是什麼。而加上Mise-Unseen技術後，如果你從來沒有仔細看題，那麼即使你蒙對了答案，謎題也會趁你不注意的時候悄悄實時改變，讓你不得不根據題目來計算出答案。

當然Mise-Unseen也可以用於實現被動體感反饋、自適應難度，甚至優化過場動畫來降低暈動症，以及降低優化成本、優化渲染效率等。

關於原理

不同應用使用不同模型

為了進一步演示Mise-Unseen的作用，科研人員開發了多種不同的應用，我們過一會詳細講解。這些應用會對場景進行多種不同的改變，而改變產生的時間則由Mise-Unseen係統來決定。

那麼Mise-Unseen具體是怎樣決策的呢？Mise-Unseen利用眼球追蹤，將用戶的注意力、意圖/空間記憶等感知理論的不同領域製作成5個注意力模型，並通過這些模型來確定畫麵修改掩碼的決策和時間，以此來減少用戶預期、察覺或回想起來的情況。

它會根據注意力模型計算出應用中的變化引起用戶注意的可能性。比如，Mise-Unseen會計算出每個應用中，每一幀中每個注意力模型的值，其中最高值作為被發現的可能性，當可能性低於預定閾值時，Mise-Unseen才會將變化注入場景中。

1）防止用戶發現

那又是如何避免用戶發現到改變呢？Mise-Unseen利用了4個模型搭配視覺掩碼，其中第一個模型（測量當前注意力）基於一個簡單的原理，即：注視點意外的虛擬目標不容易被察覺，然後再加上視覺幹擾等掩碼技術，進一步降低穿幫的可能性。不過當用戶已經忙於另一件事的時候，也可以省去幹擾。

而第二個和第三個模型分別通過瞳孔測量法和眼跳來測量認知負荷，這是實現非注意盲視（一種心理現象，指的是對於你不注意的事情，即使近在眼前也看不到）的一個必要條件。

第四個模型測量潛在的注意力，負責處理當人眼沒有看某樣東西卻注意到改變的情況，這時候如果注視點即將靠近，可能會根據所剩時間選擇終止或加速改變。

最終，科研人員實現場景改變的方式有四種：一種是在用戶注視點以外悄悄變化；第二種是用更突出的幹擾物去吸引用戶注意力；第三種是通過漸進淡出和低對比度等視覺技術降低視覺信號強度；第四種是為用戶提供幹擾性任務，通過增加注意力負載來避免他們注意到周圍的改變。

同時，用於幹擾的掩碼技術也可以替代注意力模型二或三。另外你可能會說，其實不需要注視點信息也能吸引用戶注意力，但Mise-Unseen的作用是能夠通過注視點信息來驗證用戶沒有注意到改變，這樣即使是更自然、更休閑的幹擾動作也可以達到效果，而且更容易集成，甚至可能在場景中就已經存在。

2）避免用戶回憶起

為了避免用戶事後依靠回憶識別出場景改變，Mise-Unseen采用了第五個模型搭配場景建議的方式。據悉，第五個模型通過測量停留時間來計算空間記憶，旨在防止用戶通過視覺記憶在事後對比時發現改變。

為了看起來更直觀，科研人員使用了加權定向圖來代表用戶的空間記憶，其中包含的信息包括相關目標之間的空間和角距離。

而Mise-Unseen避免用戶回憶起的具體方法是，通過為與改變無關的目標推薦新的定位和旋轉。比如，無關目標與得到改變的目標一起移動，從而降低前後差異，以及對空間記憶的破壞，進而降低用戶察覺的可能性。

3）避免用戶預料到

為了避免用戶預料到本該不易察覺的改變，Mise-Unseen會采用隨機的形式觸發變化，或者通過眼球追蹤推斷出用戶對場景的理解和意圖，進而在用戶行動之前就做出改變。

那麼用戶意圖又是如何推斷的呢？Mise-Unseen會通過測量注視點在目標上的停留時間並設定閾值，而且除了推斷意圖外，也可以通過將用戶呈現的注視點規律與預定義的掃視軌跡進行對比，來驗證用戶對於某項內容的理解。

7種應用場景

據了解，微軟這篇論文的主要目標是展示在用戶眼前、注視點外圍做改變而不被發現是可行的，並且列舉了7種可應用的不同場景，包括：

為了展示上述7個場景，科研人員分別開發了相應的7個應用：

1，鐵匠鋪——展現被動體感：在這個應用中，Mise-Unseen會根據用戶注視點來推斷接下來想要選擇的武器，並且當桌子上這個武器處於注視點外圍時，將它移動到真實環境中對應道具的位置，這樣即使你隻有一個體感道具，也可以讓用戶在VR中不管選哪個武器都能抓到它。

2，貨廂——展現自由行走：這個應用的作用與鐵匠鋪相似，但它不是將武器與道具重疊，而是將兩個軌跡中的一個與真實環境重疊。當然，靠空間壓縮技術就已經可以讓VR空間適應物理空間，甚至改變注視點以外的盲區，而且預測用戶行走方向也不是新的概念。而這個應用的不同之處在於，其展示了眼球追蹤可以讓自由行走的體驗感更自然，甚至減少對於VR畫麵的利用率。除了眼球追蹤外，電話鈴等幹擾也是必須要的。

3，城市飛行穿梭——展現過場動畫、360°視頻、虛擬移動：這個應用展現了從高樓飛下來的過場動畫，與通常用來遮擋餘光視覺的黑色掩碼不同，這裏通過將餘光視覺刷新率降低至1Hz來減少餘光看到的動作，並且將注視點和餘光的渲染畫麵融合。而這一效果是通過插幀、注視點邊緣羽化加上動態模糊來實現的。

效果類似於注視點渲染，區別在於它並沒有降低像素分辨率而是降低了時間分辨率，並且采用插幀而不是插像素的原理。

4，拚圖——展現自適應難度：這個應用旨在幫助用戶完成任務，通過使用視覺幹擾，加上餘光視覺變化，將正確的拚圖移動到用戶眼前，同時確保用戶完成任務的滿足感不會減少。

5，畫廊——展現自適應內容：這個應用會通過眼球追蹤信息來猜測用戶的喜好，比如你第一眼將目光停留在現代藝術品上，那麼Mise-Unseen便會悄悄將餘光部分的印象派藝術品變成現代風格。

6，謎題破譯——驗證用戶真實選擇/情節進度：這個應用旨在防止用戶通過反複試錯來作弊，當Mise-Unseen通過注視點識別推斷出你沒有審題而是直接輸入答案的時候，便會在題目位於你餘光的時候悄悄改變。這可以用於冒險遊戲中，促進你去理解故事進度和敘事，也可以用於培訓或教育。

7，汽車爆炸——展現對開發成本的優化：注視點渲染可以節省計算成本，而這個應用甚至可以降低開發成本，好讓開發者將更多資源用於優化其他更重要的內容。為了避免用戶注意到低保真渲染的汽車爆炸效果，Mise-Unseen會通過敘事等方法來引導用戶注意力。

驗證實驗

為了驗證Mise-Unseen係統的效果，微軟科研人員找來15個人進行體驗，其中有12人曾體驗過VR，5人曾體驗過眼球追蹤，還有8人曾觀看過魔術。此外，實驗中使用的設備包括:HTC Vive Pro頭顯、基站、追蹤器以及PupilLabs的眼球追蹤模塊（刷新率200Hz，延時4.5ms）。

實驗結果發現，注視點數據確實有助於掩蓋視場角內畫麵的改變，當畫麵涉及任務和移動的幹擾時，識別率（正確識別畫麵改變的比例）會大幅降低，總之將注視點數據與越複雜的掩碼技術結合，變化越難以識別。

另外，還調查了參與者對於每個應用的趣味性（按照利開特式量表從1到7打分）的看法，認為其中拚圖、謎題破譯、畫廊、鐵匠鋪和城市飛行比較有趣。

總之，Mise-Unseen啟發了眼球追蹤的更多場景。當然除了眼球追蹤，Mise-Unseen也可以結合其他數據來分析用戶注意力，比如視頻處理過程中提供的顯著圖、腦機接口信號（EEG等）等。也可以增強視覺掩碼技術，比如在技術層麵上，可通過誘導用戶眨眼來觸發不易察覺的快速變化。