係統粉 > IT資訊 > 微軟資訊

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼

發布時間:2019-10-25    瀏覽數:

近年來,將VR與眼球追蹤技術結合逐漸成為一種趨勢,眼球追蹤技術不僅可以作為VR的一種交互/輸入方式,也可以與注視點渲染相結合,從而降低頭顯的功耗,提高渲染效率。或者,眼球追蹤也可以用於優化自適應遊戲AI、遊戲新玩法、預測用戶行為等。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(1)

除此之外眼球追蹤還有其他用途嗎?近期,在微軟向ACM用戶界麵軟件與技術研討會提交的三篇論文中,就曾有一篇展示了眼球追蹤在多種場景中偷換餘光畫麵的能力,為該技術指明了新的應用方向。(上一篇參考:《不用透視功能,戴VR頭顯上街是什麼感受》)

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(2)

7種應用場景

據了解,微軟在論文中指出了一種名為Mise-Unseen(向法語Mise en scène致敬,指的是場麵調度,戲劇或電影製作的一種表現手法)的係統,主要用來改變你眼前的VR場景,比如利用注意力轉移,將你在遠處看到的物品悄悄轉移到跟前,或者根據你的喜好來改變場景中的布局等等。

在電影中,場麵調度指的是導演通過引導觀眾注意力的方式,讓他們看不到場景中的鏡頭或照明裝置,或者在觀眾視場角外改變場景。而在VR中,用戶的視角由自己控製,是不可控的。而且隨著VR頭顯視場角逐漸增大,可隱藏場景變化的區域就會更小,因此場景的改變隻能在用戶餘光視覺悄悄進行。(視網膜中央凹視場角為5°,中央視場角約為30°)

微軟研究院高級研究員Mar Gonzalez Franco表示:Mise-Unseen的概念來源於注視點與注意力之間的聯係,因為通常你看哪裏,你的注意力就在哪,同時也不會注意到其他地方。

因此,Mise-Unseen係統利用眼球追蹤來識別用戶的注視點,並結合顯著度/視覺幹擾等掩碼技術,然後通過感知模型來建議場景中作出何種改變不會引起用戶注意。比如,在虛擬畫廊場景中,Mise-Unseen會通過注視點來分析你的喜好,並改變你餘光部分其他油畫的風格。

除此之外,Mise-Unseen甚至可以用來強化用戶在VR中測試的準確性。比如說,在VR遊戲中,你需要解開一個謎題來計算出密碼,當然通常你可以通過不斷試錯來蒙對答案,甚至都不需要看謎題是什麼。而加上Mise-Unseen技術後,如果你從來沒有仔細看題,那麼即使你蒙對了答案,謎題也會趁你不注意的時候悄悄實時改變,讓你不得不根據題目來計算出答案。

當然Mise-Unseen也可以用於實現被動體感反饋、自適應難度,甚至優化過場動畫來降低暈動症,以及降低優化成本、優化渲染效率等。

關於原理

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(3)

不同應用使用不同模型

為了進一步演示Mise-Unseen的作用,科研人員開發了多種不同的應用,我們過一會詳細講解。這些應用會對場景進行多種不同的改變,而改變產生的時間則由Mise-Unseen係統來決定。

那麼Mise-Unseen具體是怎樣決策的呢?Mise-Unseen利用眼球追蹤,將用戶的注意力、意圖/空間記憶等感知理論的不同領域製作成5個注意力模型,並通過這些模型來確定畫麵修改掩碼的決策和時間,以此來減少用戶預期、察覺或回想起來的情況。

它會根據注意力模型計算出應用中的變化引起用戶注意的可能性。比如,Mise-Unseen會計算出每個應用中,每一幀中每個注意力模型的值,其中最高值作為被發現的可能性,當可能性低於預定閾值時,Mise-Unseen才會將變化注入場景中。

1)防止用戶發現

那又是如何避免用戶發現到改變呢?Mise-Unseen利用了4個模型搭配視覺掩碼,其中第一個模型(測量當前注意力)基於一個簡單的原理,即:注視點意外的虛擬目標不容易被察覺,然後再加上視覺幹擾等掩碼技術,進一步降低穿幫的可能性。不過當用戶已經忙於另一件事的時候,也可以省去幹擾。

而第二個和第三個模型分別通過瞳孔測量法和眼跳來測量認知負荷,這是實現非注意盲視(一種心理現象,指的是對於你不注意的事情,即使近在眼前也看不到)的一個必要條件。

第四個模型測量潛在的注意力,負責處理當人眼沒有看某樣東西卻注意到改變的情況,這時候如果注視點即將靠近,可能會根據所剩時間選擇終止或加速改變。

最終,科研人員實現場景改變的方式有四種:一種是在用戶注視點以外悄悄變化;第二種是用更突出的幹擾物去吸引用戶注意力;第三種是通過漸進淡出和低對比度等視覺技術降低視覺信號強度;第四種是為用戶提供幹擾性任務,通過增加注意力負載來避免他們注意到周圍的改變。

同時,用於幹擾的掩碼技術也可以替代注意力模型二或三。另外你可能會說,其實不需要注視點信息也能吸引用戶注意力,但Mise-Unseen的作用是能夠通過注視點信息來驗證用戶沒有注意到改變,這樣即使是更自然、更休閑的幹擾動作也可以達到效果,而且更容易集成,甚至可能在場景中就已經存在。

2)避免用戶回憶起

為了避免用戶事後依靠回憶識別出場景改變,Mise-Unseen采用了第五個模型搭配場景建議的方式。據悉,第五個模型通過測量停留時間來計算空間記憶,旨在防止用戶通過視覺記憶在事後對比時發現改變。

為了看起來更直觀,科研人員使用了加權定向圖來代表用戶的空間記憶,其中包含的信息包括相關目標之間的空間和角距離。

而Mise-Unseen避免用戶回憶起的具體方法是,通過為與改變無關的目標推薦新的定位和旋轉。比如,無關目標與得到改變的目標一起移動,從而降低前後差異,以及對空間記憶的破壞,進而降低用戶察覺的可能性。

3)避免用戶預料到

為了避免用戶預料到本該不易察覺的改變,Mise-Unseen會采用隨機的形式觸發變化,或者通過眼球追蹤推斷出用戶對場景的理解和意圖,進而在用戶行動之前就做出改變。

那麼用戶意圖又是如何推斷的呢?Mise-Unseen會通過測量注視點在目標上的停留時間並設定閾值,而且除了推斷意圖外,也可以通過將用戶呈現的注視點規律與預定義的掃視軌跡進行對比,來驗證用戶對於某項內容的理解。

7種應用場景

據了解,微軟這篇論文的主要目標是展示在用戶眼前、注視點外圍做改變而不被發現是可行的,並且列舉了7種可應用的不同場景,包括:

1,識別用戶選項,在缺少實體道具時,實現被動體感;2,在空間有限時維護持續的移動;3,降低在VR中移動產生的暈動症;4,隱藏根據用戶而改變的自適應任務難度;5,自適應用戶偏好;6,在情節進展中驗證用戶是否理解;7,控製低保真特效出現時間。

為了展示上述7個場景,科研人員分別開發了相應的7個應用:

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(4)

1,鐵匠鋪——展現被動體感:在這個應用中,Mise-Unseen會根據用戶注視點來推斷接下來想要選擇的武器,並且當桌子上這個武器處於注視點外圍時,將它移動到真實環境中對應道具的位置,這樣即使你隻有一個體感道具,也可以讓用戶在VR中不管選哪個武器都能抓到它。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(5)

2,貨廂——展現自由行走:這個應用的作用與鐵匠鋪相似,但它不是將武器與道具重疊,而是將兩個軌跡中的一個與真實環境重疊。當然,靠空間壓縮技術就已經可以讓VR空間適應物理空間,甚至改變注視點以外的盲區,而且預測用戶行走方向也不是新的概念。而這個應用的不同之處在於,其展示了眼球追蹤可以讓自由行走的體驗感更自然,甚至減少對於VR畫麵的利用率。除了眼球追蹤外,電話鈴等幹擾也是必須要的。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(6)

3,城市飛行穿梭——展現過場動畫、360°視頻、虛擬移動:這個應用展現了從高樓飛下來的過場動畫,與通常用來遮擋餘光視覺的黑色掩碼不同,這裏通過將餘光視覺刷新率降低至1Hz來減少餘光看到的動作,並且將注視點和餘光的渲染畫麵融合。而這一效果是通過插幀、注視點邊緣羽化加上動態模糊來實現的。

效果類似於注視點渲染,區別在於它並沒有降低像素分辨率而是降低了時間分辨率,並且采用插幀而不是插像素的原理。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(7)

4,拚圖——展現自適應難度:這個應用旨在幫助用戶完成任務,通過使用視覺幹擾,加上餘光視覺變化,將正確的拚圖移動到用戶眼前,同時確保用戶完成任務的滿足感不會減少。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(8)

5,畫廊——展現自適應內容:這個應用會通過眼球追蹤信息來猜測用戶的喜好,比如你第一眼將目光停留在現代藝術品上,那麼Mise-Unseen便會悄悄將餘光部分的印象派藝術品變成現代風格。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(9)

6,謎題破譯——驗證用戶真實選擇/情節進度:這個應用旨在防止用戶通過反複試錯來作弊,當Mise-Unseen通過注視點識別推斷出你沒有審題而是直接輸入答案的時候,便會在題目位於你餘光的時候悄悄改變。這可以用於冒險遊戲中,促進你去理解故事進度和敘事,也可以用於培訓或教育。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(10)

7,汽車爆炸——展現對開發成本的優化:注視點渲染可以節省計算成本,而這個應用甚至可以降低開發成本,好讓開發者將更多資源用於優化其他更重要的內容。為了避免用戶注意到低保真渲染的汽車爆炸效果,Mise-Unseen會通過敘事等方法來引導用戶注意力。

驗證實驗

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(11)

為了驗證Mise-Unseen係統的效果,微軟科研人員找來15個人進行體驗,其中有12人曾體驗過VR,5人曾體驗過眼球追蹤,還有8人曾觀看過魔術。此外,實驗中使用的設備包括:HTC Vive Pro頭顯、基站、追蹤器以及PupilLabs的眼球追蹤模塊(刷新率200Hz,延時4.5ms)。

微軟新XR研究成果(二):除了注視點渲染,眼球追蹤還能做什麼(12)

實驗結果發現,注視點數據確實有助於掩蓋視場角內畫麵的改變,當畫麵涉及任務和移動的幹擾時,識別率(正確識別畫麵改變的比例)會大幅降低,總之將注視點數據與越複雜的掩碼技術結合,變化越難以識別。

另外,還調查了參與者對於每個應用的趣味性(按照利開特式量表從1到7打分)的看法,認為其中拚圖、謎題破譯、畫廊、鐵匠鋪和城市飛行比較有趣。

總之,Mise-Unseen啟發了眼球追蹤的更多場景。當然除了眼球追蹤,Mise-Unseen也可以結合其他數據來分析用戶注意力,比如視頻處理過程中提供的顯著圖、腦機接口信號(EEG等)等。也可以增強視覺掩碼技術,比如在技術層麵上,可通過誘導用戶眨眼來觸發不易察覺的快速變化。

上一篇:用戶發現Win10強製更新:幫你從v1803升到v1903 下一篇:微軟創始人比爾·蓋茨重回“世界首富”寶座

相關資訊

最新熱門應用

電腦問答