微軟研究團隊演示MRTouch交互技術，帶來觸覺反饋體驗

為HoloLens上的混合現實內容帶來觸覺反饋

（映維網 2018年04月26日）微軟是沉浸式技術的堅定信徒，而這家公司一直都在致力於提升沉浸式計算技術。微軟的一支研究團隊最近演示了一種名為MRTouch的交互技術，其能夠為HoloLens上的混合現實內容帶來觸覺反饋。

微軟在2016年推出了HoloLens頭顯，這是我們首次見證這家科技巨頭的混合現實願景。HoloLens頭顯搭載了環境映射和手部追蹤技術，可讓你與疊加在真實世界的3D虛擬對象進行交互。HoloLens支持手勢，基於注視點和基於語音的輸入，但上述方法並不像我們想象般直觀。手勢無法提供對用戶交互的觸覺反饋，而盡管基於注視點和基於語音的交互可能有一定的幫助，但它們實際上並不適合作為通用的交互方法。

大多數人習慣於使用智能手機，平板電腦和摸屏電腦顯示器進行基於觸摸的交互。微軟的實驗性軟件MRTouch利用HoloLens先進的環境映射和手部追蹤技術，能夠精確定位可用作虛擬輸入設備的平坦表麵，從而將觸摸交互帶到混合現實環境。

微軟HoloLens頭顯提供兩種環境追蹤模式。長衝程（long-throw）追蹤模式采用機載攝像頭來映射你周圍的空間，包括房間的牆壁和空間中的物體。這款頭顯同時支持短衝程（short-throw）模式，主要用於手勢追蹤和最大為一米的追蹤距離。MRTouch應用程序采用了HoloLens的短衝程追蹤模式，因為長衝程追蹤對手指追蹤而言不夠準確。

微軟的研究人員結合了短衝程深度攝像頭信息與紅外攝像頭信號，無需依賴長衝程深度攝像頭的信息即可提供精確的平坦表麵映射。研究人員表示，這使得MRTouch軟件能夠在缺乏完整3D環境映射的情況下運行。

借助MRTouch，你可以將任何平台表麵用作觸控表麵，如桌麵與牆壁。如果要通過MRTouch打開應用程序，用戶隻需觸摸要使用的表麵，然後手指向下拖到右側，這將創建一個虛擬窗口，這時你就可以打開應用程序。物理表麵可讓你在按下時感受虛擬按鈕，但同時可以實現更精確的輸入。懸空手勢適用於簡單的交互，但由於缺乏觸覺反饋而無法分辨自己於何時按下了按鈕，你將很難使用虛擬菜單。另外，懸空交互僅限於單個輸入點，而MRTouch支持多達10位的多點觸控交互。

MRTouch軟件的追蹤管道在運行速度方麵為25fps，包含三個組件：Image Streamer，Tracker Engine和Client Library。Image Streamer從紅外和深度攝像頭輸出數據，並通過TCP套接口將其發送到Tracker Engien。MRTouch Tracker Engien從Image Streamer接收數據，並利用這一點來保存“已知追蹤表麵”及其坐標列表。如同微軟WMR平台中的任何應用程序一樣，當你在空間中移動時，MRTouch窗口將仍然停留在它的位置。MRTouch係統的第三個組件是Client Library，它可以打開Tracker Engine的TCP連接以接收位置數據和觸控信息。然後，Client Library將把相關的信息轉換為應用程序可以解釋的格式。

MRTouch軟件運行在微軟的HoloLens頭顯上，但該團隊表示，他們創建了一個自定義的API來構建軟件，這意味著開發者將應用程序移植到其他混合現實設備上將很容易。

但MRTouch目前尚未向市場公開，而微軟也沒有透露MRTouch將於何時或是否將與市場見麵。但如果你想了解更多的相關信息，該研究團隊的負責人Rober Xiao發表了一份研究論文，詳細介紹了其中的工作原理。我們顯然希望這個項目能夠早日進入市場，因為混合現實中的觸覺交互是我們迫切希望看到的進步。

相關論文：MRTouch: Adding Touch Input to Head-Mounted Mixed Reality（登錄查看下載地址）

Missing PDF "https://yivian.com/resource/paper/2018_IEEEVR_MRTouch.pdf".

原文鏈接：https://yivian.com/news/44516.html