係統粉 > IT資訊 > 微軟資訊

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術

發布時間:2019-10-31    瀏覽數:

(映維網 2019年10月31日)伯納德·克雷斯(Bernard Kress)是微軟HoloLens光學架構師(Partner職級)。他在10年代的初期主要是擔任穀歌眼鏡的首席光學架構師,但於2015年來到了微軟,並一直從事HoloLens混合現實智能頭顯的研發工作。

作為對EDO19 Digital Optical Technologies大會的介紹,克雷斯撰文概述了當前當前AR/VR/MR的數字光學元件和技術。下麵是映維網的具體整理:

已於2019年6月24日-27日結束的EDO19 Digital Optical Technologies的話題涵蓋了用於AR/VR/MR係統的新型光學元件,如自由空間光學元件,波導光學元件(波導組合器),衍射,全息和超表麵光學元件,可調,可切換和可重新配置的光學元件。下一屆大會將於2021年6月21日-24日召開。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(1)


1. 介紹

國防一直是增強現實和虛擬現實的首批應用領域,這最早可以追溯至上世紀50年代。接下來,第一個消費者VR/AR浪潮於90年代開始興起,但因為過於超前,尚未成熟,沉浸式領域的熱度開始淡化萎縮。然而,正是由於缺乏可用的消費者顯示技術和相關傳感器,當時誕生了一係列的新型光學顯示概念,而它們在今天依然是相當前沿的技術,如Reflection Technology的“Private Eye”智能眼鏡(1989)和任天堂的Virtual Boy(1995)。兩者都是基於掃描顯示器,而非平麵顯示器。盡管這種顯示技術在當時十分超前,但消費者級IMU傳感器,低功率3D渲染顯卡,以及無線數據傳輸技術的缺乏導致第一起VR浪潮於90年代的消退。另一個原因是數字內容的缺乏,或者缺乏對企業和消費者VR/AR內容的清晰認識。

這與General Magic早期的iPod開發十分類似。在90年代後期,這家公司提出了所述的硬件概念,但當時缺乏無線傳輸技術和音樂庫。十年後的蘋果終於整合了這三個要素(硬件,WIFI,在線音樂庫),而這種iPod概念顛覆了一個時代。它不僅成為了一種理想的音樂播放產品,同時引起了消費市場的強烈共鳴。

類似地,無論消費者AR/VR頭顯的質量如何,如果缺乏相應的“iTune Store App”,消費者市場將不會實現騰飛。

在第一波浪潮衰退之後的十年間,依然在持續拓展AR/VR技術的領域是國防工業,如飛行模擬與訓練(用於旋轉翼飛行器的頭盔式顯示器和用於固定翼飛行器的平視顯示器)。在00年代,有效的消費者努力是汽車平視顯示器和個人雙目頭顯視頻播放器領域。

今天的工程師們從小就能接觸到不斷普及的平板顯示器技術,而比起20年前不得不從零發明新穎沉浸式顯示技術的同行相比,他們已經習慣於這樣的創新額。自2012年以來,我們看到了基於現成智能手機顯示麵板(LTPS-LCD,IPS-LCD,AMOLED)或Pico顯示麵板(HTPS-LCD,mu-OLED,DLP,LCoS),以及IMU,攝像頭,深度傳感器(結構光和飛行時間)的初始沉浸式AR/VR實現。目前,頭顯顯示架構正在緩慢發展為更具體的技術,而且與平板顯示器更適合沉浸體驗的要求。就如同在20年前興起的發明浪潮(無機mu-LED麵板,一維掃描陣列,二維激光/VCSEL MEMS掃描器……),現在行業可謂是欣欣向榮。

就顯示,聯網和傳感器方麵,智能手機技術生態係統塑造了第二波VR/AR浪潮,而且一直是早期產品最為顯而易見的目標用例。這種傳統額度顯示技術將作為下一波的初始催化劑。

然而,AR/VR沉浸式顯示體驗是延續半個多世紀以來的傳統麵板顯示體驗的範式轉變:從CRT電視到LCD電腦顯示器和筆記本電腦屏幕,再到OLED平板電腦和智能手機,LCoS,DLP和MEMS掃描儀數字投影儀,再到iLED智能手表(請參見圖1)。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(2)


圖1:沉浸式近眼顯示器:個人信息顯示器的範式轉變

當用平板顯示技術和架構(智能電話或微型顯示麵板)來實現沉浸式近眼顯示設備時,光學擴展量,固定焦點和低亮度成為了嚴重的限製。為了支持近眼顯示器匹配人類視覺係統的特性,我們需要替代性的顯示技術。

虛擬現實/增強現實/智能眼鏡熱潮在本世紀10年代初的第二次興起帶來了新的命名趨勢:混合現實,融合現實,擴展現實,或統稱為XR。智能眼戴設備(包括數字信息顯示器和眼鏡)趨向於替代最初的智能眼鏡命名慣例。

2. 智能眼鏡/AR/MR/VR市場

與第一次的AR/VR熱潮不同,今天的投資者,市場分析師,AR/VR/MR開發商及企業用戶都期望這種獨特的技術能夠在未來5年內帶來真正的投資回報, 如2017/2018 Gartner技術成熟度曲線所示(參見圖2)。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(3)


圖2:Gartner技術成熟度曲線

2017年的Gartner圖表表明,AR和VR有望在2年到10年內達到穩定的發展,而VR要領先AR數年。這是大多數AR/VR分析師所認可的概念。有趣的是,修訂後的2018年圖表不再顯示VR,而是MR。VR在2018年進入了一個更為成熟的階段,甚至成為一種商品,所以Gartner將其從新興技術類別中移除。

但我們必須謹慎看待。目前已得到證實的可持續市場是企業MR,其中投資回報率(ROI)主要是成本成本規避:

新員工的上手速度更快,錯誤更少,收益更高。協同設計,遠程專家指導,更好的服務,增強的監控。更高的製造質量保證。提升了產品展示和演示,並提供了更好的最終用戶體驗。

混合現實已經在出製造業(汽車,航空電子設備,重工業產品),電力,能源,采礦和公用事業,技術,媒體和電信,醫療保健和外科手術,金融服務以及零售/接待/休閑領域等領域出現了明顯的投資回報率。

現有智能眼鏡/AR/MR消費市場的證據則相對不是十分明顯。智能眼鏡(Google Glass,Snap Spectacles,英特爾Vaunt或North“Focals”)已經經過試水;VR頭顯的發展最近有所放緩(Oculus/Facebook VR,穀歌Daydream,索尼PSVR),而其他廠商的VR項目已經終止,比如說英特爾的Alloy和宏碁/StarVR的大視場頭顯。但從長遠來看,MR的視頻用例潛力依然很大。在2018年,盡管曾帶來了強大的初始產品和獲得了雄厚的風投支持,但諸如MetaVision Corp(Meta2),CastAR Corp和ODG Corp(ODG R8和R9)等中等規模的企業經曆了倒閉情況。其他公司則進行了重大重組,如Avegant。MetaVision和CastAR在2019年中期迎來了新生,這表明所述領域依然存在巨大的不確定性,同時充滿驚喜。其他公司(Vuzix)則在整個2019年實現了持續增長和風投支持(Digilens Corp)。

在智能眼鏡方麵,專注於音頻的智能眼鏡獲得了強勁的投資回報。提供音頻沉浸感和世界鎖定音頻(僅基於IMU)的音頻智能眼鏡並不是全新的概念,但最近迎來了諸如環繞聲和降噪等方麵的進步。它們可以為消費者和企業提供基本的輸入和命令,同時是增強世界體驗的重要組成要素。華為等大公司最近已經推出了音頻AR智能眼鏡。另外,諸如Snap Spectacles(第1代和第2代)之類的攝像頭眼鏡和Google Glass Explorer版本一樣難以獲得消費者的認可。

除空間世界鎖定音頻外,如果存在IMU(如Bose AR Frames),則設備同時可以檢測一係列不同的頭部和身體姿態,包括俯臥撐,下蹲,點頭,搖動,雙擊,看向上,向下看和轉頭等等。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(4)


表1:智能眼鏡/AR/VR/MR頭顯在消費者/企業/國防領域的采用率。

在英特爾Vaunt項目的帶動下,具有更小顯示屏(約10度單眼視場)和視力校正功能的小尺寸智能眼鏡在2018年重新抬頭(2014年的穀歌眼鏡遭遇了失敗)。然而,英特爾的項目於當年下半年中止,轉而投資了由North開發的“Focals”。但這款產品在2019年初出現了近50%的價格暴跌,而North同樣進行了大量的裁員。目前消費者智能眼鏡的短期前景不是十分明朗。僅針對企業領域的智能眼鏡概念則出現一段安靜但平穩的增長期,如RealWear頭顯(加拿大溫哥華)和更時尚的Google Glass Enterprise V2眼鏡。

另一方麵,當前的風投正在瘋狂地助推初創獨角獸的發展,比如說Magic Leap(總投資額超過30億美元,估值達到70億美元)。這透露出後期階段投資者(阿裏巴巴,新加坡淡馬錫和沙特基金)的“Fear Of Missing Out(害怕錯過)”心理,並渴望跟隨主要科技風投(穀歌,亞馬遜,高通)的前期投資決定。同時值得注意的是,Magic Leap的最後兩筆風投(2018年末和2019年中)是由主要通信公司提供(AT&T;/金額未知,Docomo/2.8億美元)。他們寄望於未來的AR市場將能推動帶寬通信(5G,WiGig等)的發展,而這同時將為MR雲服務帶來持續的投資回報(AR/MR硬件回報極低)。

不論投資炒作幾許,一家大型消費電子公司都很可能同時創建最終的消費者頭顯架構(解決視覺/可穿戴舒適性/沉浸式體驗),以及隨後的消費者市場。對於企業市場來說,內容是根據每家企業的特定需求而定製開發,而消費市場則需要完全依靠整個MR生態係統的發展,這包括從通用硬件到通用內容與應用程序。

盡管2018年Q3季度智能手機和平板電腦的銷量首次出現了全球性下滑,而這預告了蘋果於同年Q4季度30%的股票跌幅,但尚不清楚這種MR消費者硬件是否有潛力(甚至是意願)取代 現有的智能手機/平板電腦,或作為智能手機的附件,從而提供傳統顯示屏概念所無法企及的沉浸式體驗。

除了這裏討論的消費者和企業市場之外,MR頭顯在國防市場存在巨大的潛力。微軟已經在2018年Q4季度拿下4.8億美元的美國國防合同,為美國陸軍開發特殊版本的HoloLens:IVAS(Integrated Visual Augmentation System;集成視覺增強係統)。這是AR/VR/MR有史以來最大的合同,並將推動全球MR生態係統的發展。

3. MR正作為下一個計算平台而逐漸興起

智能眼鏡(同時又稱為數字眼戴設備)主要是眼鏡的擴展,為視力障礙提供數字情景顯示(請參見圖3中的穀歌眼鏡)。這個概念與AR或MR大不相同。 典型的智能眼鏡在視場方麵非常小(對角線小於15度),而且通常會偏離視線。傳感器的缺乏(IMU除外)隻可實現大約三自由度的頭部追蹤,而雙目視覺的不足則隻能顯示簡單的2D文字與圖像。單眼顯示器不需要雙眼視覺係統那樣的鏡框剛度(從而減少可能引起眼睛疲勞的水平和垂直視差)。大多數智能眼鏡開發商同時將視力校正作為標準功能(North的Focal或Google Glass V2)。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(5)


圖3:智能眼鏡,AR/VR和VR頭顯的興起。

強大的連接(3G,4G,WiFi,藍牙)和攝像頭的結合令它有理由成為智能手機的強大配件,如用於情景顯示功能或用作虛擬助手,GPS和社交網絡配件(得益於攝像頭)。智能眼鏡並非旨在取代智能手機,而是補充智能手機,就如同智能手表一樣。

VR頭顯是遊戲主機的擴展,這可見於索尼,Ocuus,HTC和微軟WMR等主要遊戲供應商,以及諸如Steam等遊戲內容合作夥伴。這種頭顯通常搭載遊戲控製器(請參見圖3)。早期的外向內傳感器(如2016年的Oculus CV1和HTC Vive)已經發展至今天的內向外追蹤,從而提供了更緊湊的硬件(如WMR和三星玄龍)。盡管這種高端VR係統依然需要搭載先進GPU的昂貴PC或筆記本電腦,但VR一體機已於2018年登陸消費者市場,如Oculus Go(3DOF-IMU)和HTC Vive Focus,而它們能夠成為蓬勃發展的VR消費者市場的基礎。最近,搭載內向外傳感器的VR一體機進一步擴展了這一產品類別,比方說Oculus Quest(六自由度)。

然而,搭載內向外傳感器的高端VR頭顯已經麵世,比如說Oculus和HTC於2019年推出的Rift S和Vive Pro。諸如三星玄龍+等其他WMR頭顯則將2017年版本的分辨率翻了一番。

AR/MR係統將成為下一個計算平台,取代原來的桌麵和筆記本硬件,以及正在衰退的平板電腦硬件。大多數這樣的硬件都是無線束縛形式(參見圖3的HoloLen V1),需要高端光學,組合器元件和傳感器(深度掃描攝像頭,頭部追蹤攝像頭,精確的眼動追蹤器和姿勢傳感器)。它們是當前要求最為苛刻的硬件,尤其是對光學硬件而言。最終,如果技術允許,這三個類別將融合成單一的硬件概念。不過,它們需要連接(5G,WiGig),視覺舒適度(顯示技術),以及穿戴舒適度(續航能力,熱管理,重量/尺寸)等方麵的提升。

智能手機和平板電腦在2018年Q3季度全球銷量下降是一個重大信號,這會促使大型消費電子公司和風投把目光投向“下一個劃時代的產品”。無論這最終是什麼,MR都是一個優秀的候選者。

4. 終極MR體驗的關鍵

對於消費者或企業而言,終極的MR體驗都是沿著兩個主軸定義:舒適度和沉浸感。舒適感有兩個方麵:穿戴性和視覺。從顯示到音頻,再到手勢和觸覺等等,沉浸感有多種表現形式。

在舒適度和沉浸感的融合中,令人信服的MR體驗需要做到三點:

低於10ms的運動到光子延遲(通過優化的傳感器融合和低延遲顯示)。通過連續的深度映射和語義識別實現內容鎖定。快速眼動追蹤和通用眼動追蹤是必備的功能,它將能實現本文列出的眾多功能。

大多數都可以通過集成於專用芯片的全局傳感器融合工藝實現,例如HoloLens的HPU(Holographic Processing Unit;全息處理單元)。

4.1 穿戴舒適度和視覺舒適度

對任何一款MR頭顯架構而言,穿戴舒適度和視覺舒適度都是實現主流普及的重要基礎。

穿戴舒適度包括:

無線束縛的頭顯,可實現最佳移動性(5G或WiGig帶來的未來無線連接將能顯著減少板載計算和渲染負載)。體積小,重量輕。整個頭顯的熱管理(被動或主動)。壓力點的皮膚接觸管理。用於控製汗水和熱量的透氣麵料。頭顯重心更接近頭部中心。

視覺舒適度包括:

大視窗,可實現廣泛的IPD覆蓋。對於消費者而言,光學器件可能會提供不同的SKU。但對於企業而言,由於頭顯支持實現員工共享,所以產品需要適配廣泛的IPD範圍。角分辨率接近20/20視敏度(注視點區域至少為每度45像素),而外圍視場區域則可適當降低每度像素數。零紗窗效應(高像素填充係數和高PPD),沒有Mira偽影。通過高亮度和高對比度實現HDR(MEMS掃描儀和OLED/iLED等發光顯示器 vs LCOS和LCD等非發光顯示器)。偽影最小化(不受限的200度以上透視外圍視場(支持戶外用例,這對國防和土木工程特別有用)。主動調光(均勻快門或柔和邊緣調光)。

基於精確/通用眼動追蹤的視覺舒適度功能包括:

通過利用差分眼動追蹤數據進行的聚散追蹤,可以緩解位於注視點圓錐體中的近距離對象的視覺輻輳調節衝突(因為視覺調節是視覺輻輳的觸發器)。適用於大視場光學器件的有源瞳孔遊離校正。用於增加全息圖不透明度(更真實)的有源像素遮擋(硬邊緣遮擋)。

額外的視覺舒適度和視覺增強功能包括:

具有球麵和像散屈光度的有源視力障礙矯正。如果視覺輻輳調節衝突緩解架構不產生光學模糊,則渲染模糊將添加到3D提示並改善3D視覺體驗(例如色度模糊)。顯示器關閉時的超級視覺功能,如放大鏡或雙目望遠鏡視覺功能。

4.2 顯示沉浸感

沉浸感是實現終極MR體驗的另一個關鍵因素,而且它不僅僅隻是基於視場:視場是2D角度概念,沉浸感視場是3D概念,包括與用戶眼睛的Z距離和支持臂展顯示交互)。

用戶沉浸式體驗包含眾多方麵:

廣角視場,包括每度像素數較少,色深較低的外圍顯示區域。固定注視點渲染和動態注視點渲染。通過深度圖掃描儀實現的世界鎖定全息圖和全息圖遮擋。世界鎖定的空間音頻。通過專用傳感器進行精確的手勢感應。觸覺

圖4總結了在沉浸式體驗和穿戴舒適度/視覺舒適度融合的前提下,能夠令分析師對VR/AR/MR/智能眼鏡市場感到樂觀的主要要求。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(6)


圖4:終極MR體驗的舒適度和沉浸感要求

圖4中的深灰色項是下一代MR頭顯的關鍵光學技術:快速,精確和通用的眼動/瞳孔/注視點追蹤器。

4.3 臨場感

我們認為沉浸感是一種多感官幻覺(顯示器,音頻,觸碰等)。MR的臨場感是一種意識狀態,亦即頭顯佩戴者真正相信自己置身於不同的環境之中。沉浸感能夠產生臨場感。

但為了實現栩栩如生的臨場感,我們需要解決頭顯麵臨的各種關鍵挑戰,不僅僅隻是顯示器(刷新率,視場,角度分辨率,視覺輻輳調節衝突,邊緣遮擋和HDR等等等),同時包括各種傳感器(六自由度頭部追蹤器,深度映射傳感器,空間映射傳感器,眼動/瞳孔/注視點追蹤器,手勢傳感器等等等)。MR的目標是創造高度臨場感,令用戶確信自己正置身於另一個(虛擬)環境之中。

5. 人類因素

為了設計一種能夠實現上節所述的終極MR舒適度和沉浸感體驗的顯示架構,我們需要將光學設計視為以人為中心的任務。本節主要分析了人類視覺係統的特定細節,以及如何利用它來減少光學硬件和軟件架構的複雜性,同時又不以任何方式降低用戶的沉浸感和舒適度。

5.1 人類視覺係統

由於高視錐密度,僅覆蓋2-3度,並且偏離視線約5度,中心凹的分辨力最大。中心凹是早期視覺體驗的結果,並且從小就成長為一個獨特的區域。

視距和光軸

人類視力情況是基於視網膜的視錐和視杆密度,如圖5所示。光軸略微偏離視距5度左右(靠近視軸),並且與視網膜中心凹的位置重合。盲點(視神經所在位置)偏離中心凹中心約18度。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(7)


圖5:左邊是視錐和視杆細胞密度,右邊是光軸和視距

需要注意的是,中心凹在早年會根據特定的人類視覺行為而緩慢生長,與我們出生時視覺係統特征不同。所以,由於與人類數千年來的進化完全不同的新穎視覺行為,中心凹的位置可能會漂移到視網膜的新位置,例如幼兒近距離握持小型數字顯示器。另一個重大的變化是由相同原因引起的兒童早期近視。

橫向色差(Lateral Chromatic Aberrations或LCA)

色差因為菲涅爾圓環,光柵或傳統反射性透鏡的顏色分離所致,橫向色差中的“橫向”包含“橫向”和“縱向”,其中不同的顏色聚焦在不同的深度,具體取決於透鏡的Abbe V值。反射光學器件不產生LCA,所以在AR顯示領域得到了廣泛的應用。

LCA一般是通過軟件進行校正,方法是在場序模式下預先補償每個彩色幀,或者在RGB顯示麵板中預先補償整個彩色圖像(等效於三個失真圖補償,每種顏色一個)。但是,這可能會導致顯示偽影,如顏色混疊,並且需要高角度分辨率才能達到合理效果。光學色散補償是一種更優的方法,但需要更複雜的光學器件(混合折射衍射)或對稱耦合結構(可見於使用光柵或全息耦合器的波導組合器),或者用反射光學器件代替折射光學器件。

一種重要的偵測器是人眼,所以分析人眼的自然LCA擴散同樣非常有趣,而結果是出奇的強。圖6是測量的人眼LCA(左邊為過去50年的測量總和),其在可見光譜產生了2個屈光度;圖6同時說明了彩色圖像在視網膜,軸上和軸外的顯示方式(中間)。右邊是視覺皮層處理後的用戶“所見”。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(8)


圖6:人眼的自然LCA

人眼的自然LCA同時是數字渲染3D深度線索(稱為“Chromablur/色彩模糊度”)的基礎。取決於它們出現在白色對象的哪一側,藍色和紅色模糊(光學或渲染模糊)可以分辨遠焦與近焦,從而為動眼肌提供視覺調節變化的信息,從而重新聚焦圖像(即圖像的綠色部分聚焦在視網膜上)。

不同人之間的LCA略有不同:所以,用外部光學器件來增加或減少光譜擴散來稍微改變自然LCA不會顯著影響視力。但如果視場一部分具有特定的LCA(AR中的透視),而另一部分具有不同的LCA(AR中的數字圖像),則這可能會導致視覺不適。

中心凹及外圍區域的視敏度

測量的人眼多色MTF(Modulation Transfer Function;調製傳遞函數)請參見圖7。所述MTF主要表示軸上視場的明視覺,其接近以中心凹為中心的視距區域(偏移約3到5度)。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(9)


圖7:不同瞳孔直徑的人眼多色調製傳遞函數

我們將眼睛分辨細小特征的能力稱為“視敏度”。青壯年可以分辨出黑白線條交替的圖案,小至一弧分(每度30個周期或60 PPD)。這同時是20/20視覺的定義。少數人能夠區分較小的圖案(具有較高的MTF),但我們大多數人會將其視為灰色陰影(MTF較低,低於0.1)。

對於所有瞳孔大小,MTF為20/20的明視覺高於30%,隻有超過5mm的暗視覺才會令MTF降到較低水平。

請注意,MTF50(低頻時為MTF的50%)或MTF50P(峰值時為MTF的50%)是出色的指標,但主要用於相機。人眼,尤其是不斷移動的人眼,其依然可以在30%MTF的水平下很好地分辨出特征。與相機不同的是,眼睛的MTF會在低頻下降(主要是這樣的低頻缺乏運動)。

由於人眼的高像差影響,瞳孔尺寸越大,則產生的MTF越低,這與受衍射限製的高端相機不同(MTF會隨著光圈增加)。有趣的是,當瞳孔增加明視覺時,較高的空間頻率實際上是可以區分,從而能夠在較暗的視場中實現超過20/20的視力。

這表示,人類視覺係統不能像相機那樣簡單局限於純光學特性,而是將其作為計算成像係統(其中CPU當成視覺皮層)。上一節中討論的LCA就是證明。

人類視場的細節

圖9說明了人類雙目視覺係統的不同角度區域的水平延伸。盡管整體視場水平跨度超過220度,但在大多數情況下,雙目範圍僅跨120度(取決於鼻子的幾何形狀)。然而,立體視覺(提供3D深度線索的左右單目視覺融合)受到限製(+/-40度)。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(10)


圖8:人類視場(水平和垂直)


微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(11)


圖9:具有固定注視點區域的人類雙目視場,包括不受約束的眼球運動,可以支持持續注視和視覺調節

垂直視場的大小與水平視場相似,並且向下偏離標準視距大約15度。

人眼視場是一個動態概念,最好的描述是受約束和不受約束的眼睛運動範圍時(不受約束:不會產生眼睛疲勞並允許穩定注視和隨後的視覺調節反射)。盡管機械式眼球運動範圍可能很大(+/- 40度),但可以在不引起頭部旋轉反射的情況下進行不受約束的眼部運動要小得多,並且隻覆蓋大約+/- 20度視場。這反過來定義了靜態注視點區域,視場為40到45度。圖9是雙目視場,即左右視場的重疊。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(12)


圖10:對於當前最先進技術的智能眼鏡,AR,MR和VR頭顯,其視場一般覆蓋於雙目視覺和固定注視點顯示區域。

雙目視場是一個相當大的區域,水平對稱,垂直非對稱,在上+55度和下-30度的範圍內,跨度為+/- 60度,而中下區域同樣達到-60度,但位於35度全角的較小水平跨度。白色圓圈是固定注視點區域,這同時定義了當今大多數高端AR/MR設備的對角視場狀態(提供了100%的立體視場重疊)。 另外,對於給定的注視角度,顏色識別跨越+/- 60度視場,形狀識別跨越+/- 30度視場,文本識別跨越+/- 10度視場。

5.2 顯示硬件適配人眼視覺係統

圖11是各種頭顯的視場。標準VR頭顯(Oculus CV1,HTC Vive,PSVR,WMR)的視場都圍繞著110度對角線,其他(小派和StarVR)則能擴展至200度視場。大手機麵板顯示器和自由空間組合器(Meta2,DreamGlass,Mira AR和Leap Motion)可以實現高達90度的大視場,而高端AR/MR係統則采用微型顯示屏,如微軟HoloLens V1和Magic Leap One。智能眼鏡的視場通常是10到15度(蔡司“Tooz”智能眼鏡,穀歌眼鏡,North Focals),25度和最高50度(Vuzix Blade,Digilens,Optinvent ORA,Lumus DK50,ODG R9)。

微軟HoloLens光學架構師詳述AR/VR/MR數字光學元件和技術(13)


圖11:VR,智能眼鏡和AR頭顯的顯示視場和透視視場。

對於VR係統,由於沒有透視,所以顯示的視場可以相當大,從110到150到最大的200+視場(小派或StarVR)。對於智能眼鏡,受側向顯示臂的阻礙,其偏心顯示視場為15度。對於Magic Leap One,由於眼鏡圓形機械外殼而造成的隧穿效應將透視視場大大降低,減少到大約70度的圓錐形,而顯示器的視場為50度。對於Hololens V2,橫向透視(或透視)視場等於220度的自然人類視場,而對角線視場則為52度,覆蓋大部分中心凹區域,上方視場被用於固定傳感器條,激光/MEMS顯示引擎和係統板的機械外殼所覆蓋,下上視場沒有限製。 HoloLens V2的另一個特殊之處是,你能夠向上翻轉顯示麵罩並顯示完全無遮擋的視圖。為優化頭顯光學架構以實現大視場,我們必須考慮圖9所描述的各視場區域,從而避免國過度設計係統。通過在光學設計過程中實現“以人為中心的優化”,我們可以在分辨率,MTF,像素密度,色深和對比度方麵實現與人類視覺係統非常匹配的係統。

5.3 感知分辨率和視場

AR/VR係統的要旨是人眼視覺係統的感知視場和感知分辨率:其中分辨率是感知規格(主觀)而非科學測量的規格(客觀)。

例如,在不增加GPU渲染負擔的情況下提升感知分辨率的一種方法是,簡單地複製物理麵板的像素。最新版本的三星WMR(2018版)就采用了這種方法,其中顯示管道以616ppi的速度渲染和驅動顯示器,而最終的物理顯示達到1233ppi。事實證明,這樣做可以減少紗窗效應並提高用戶的感知分辨率。

感知的視場跨度同樣可能是主觀感受,尤其是對於AR係統而言。顯示器的質量(高MTF,高分辨率,沒有紗窗效應和Mura效果,減少的鋸齒和運動模糊)有助於令人認為感知視場大於類似的顯示架構。用戶對視場的感知是自然透視視場與虛擬圖像質量的結合。

6. 總結

這篇本文是對EDO19會議“數字光學技術”的介紹(這個大會專門針對AR/VR和MR係統的數字光學,包括顯示,成像和傳感器)。我們介紹了AR/VR/MR光學領域,並回顧了AR/VR/MR光學設計的最重要標準:將光學性能與人類視覺係統相匹配。我們可以通過本次大會講解的所有數字光學元件來做到這一點:自由空間光學元件,波導光學元件(波導組合器),衍射,全息和超表麵光學元件,可調,可切換和可重新配置的光學元件,以及用於顯示和成像的新穎計算技術。

原文鏈接:https://yivian.com/news/68116.html

上一篇:加快win10安裝速度有妙招:用UEFI版啟動U盤,速度飛快 下一篇:微軟使UWPAPI可用於Win32應用程序

相關資訊

最新熱門應用

電腦問答