為什麼 ARKit 失去了 AR 雲的支持，就會毫無意義？

如果你被問到當今科技行業最具價值的資產是什麼，你可能會回答穀歌的搜索指數、Facebook的社交圖譜，或是亞馬遜的供應鏈係統。我相信，15年後，還有一種資產和這些資產一樣有價值，但現在我們並不知道。比如微軟的Windows，這個上世紀90年代最具價值的科技資產，在20年後的今天，卻完全不同。

雖然就像1997年，我們很難想象微軟會失去它的位置一樣，今天我們很難想象穀歌或Facebook會失去它們的位置。但沒有什麼是可以保證的。

但是AR時代的到來，是大概率可以保證的。ARKit與ARCore似乎預示著下一代最珍貴的資產，但它們目前依然有所缺失，可能會成為發展路上的絆腳石。本文希望就這個問題，聊一聊那些ARKit和ARCore缺失的內容，以及這些缺失的部分將如何工作。

AR雲是什麼？

為了超越ARKit和ARCore，我們不得不考慮下述更細節、長遠的問題：

l 其他類型的AR設備上的人，如何加入我們並與我們進行AR溝通？

l AR應用是如何在比客廳更大的區域工作呢？

l AR應用是如何理解並與世界互動的？

l 我們怎樣才能把重要內容留給別人去尋找和使用呢？

為了實現這些功能，我們需要基於雲端的AR軟件基礎架構。我一直聽到人們（包括我的SV合作夥伴Ori Inbar）把它稱為“AR雲”，我喜歡這個名字。AR雲可以被認為是一個機器可讀的真實世界的1:1比例模型。我們的AR設備是這個平行虛擬世界的實時界麵，它完美地覆蓋了現實世界。

為什麼一些媒體認為ARKit和ARCore沒什麼意義？

當ARKit在今年的WWDC大會上被宣布時，蘋果首席執行官蒂姆•庫克對增強現實大加讚揚，他對分析師們說：“這是我們將回顧的重大事件之一，並驚歎於它的開始。”幾個月過去了，開發者們對下一個重大事件進行了認真的研究，但在iPhone發布會上，ARKit卻沒有被提及太多。這是為什麼呢？這是因為ARKit&ARCore目前僅僅是1.0版本。他們隻給開發者提供了三個非常簡單的AR工具：

l 手機的六自由度位置和坐標數據

l 局部小型的平麵

l 簡單的場景照明

當我們看到最難的技術問題被解決（VIO係統的六自由度位姿）、以及蒂姆•庫克在舞台上說出“增強”和“現實”這兩個詞的時候，我們感到很興奮。但我們忽略了，僅僅使用這3個工具，你真的無法創造出令人印象深刻的東西。他們最大的問題在於：在開發完整的工具之前就期待著令人驚歎的應用。

要製作一款優秀的AR應用，還缺什麼呢？

從最簡單的層麵來講，原生AR 應用是可以實現數字信息和物理空間（或物理的人）交互的。如果沒有數字/物理交互，這就隻是常規的應用。更深一步講，智能手機應用是默認的UX，而 AR 應用應該實現隻能在AR中實現的內容。

Clay Bavor把AR生態係統的缺失部分稱為連接組織，我認為這是一個很好的比喻。在我關於AR產品設計的文章中，我強調了任何AR應用存在的唯一原因（與普通的智能手機應用程序相比）是它與現實世界有某種互動或聯係。對於一個真正連接到世界的AR應用來說，有三件事是必須要做的。沒有這種聯係，它就永遠不可能是真正的 AR 原生應用。這些能力隻有在ARCloud的支持下才能實現：

人們如何通過AR互聯？

蘋果在主題演講中演示的“機器”遊戲使用了一個簡單的內部開發的多玩家係統。雖然看起來很好，但沒有不是AR雲的支持。早期報道稱，該公司隻有2名玩家，而且很難加入。

我們如何支持多用戶分享體驗？當我們身處同一個地方（或不同地方）時，如何實時看到同樣的虛擬事物，無論我們穿著或佩戴著什麼設備。你可以選擇一個熟悉的術語來描述這種能力，這是基於你已經知道的，比如遊戲玩家的“多玩家”應用，或者“社交”應用或“通訊”應用。它的基礎架構都是相同的，而且都是基於相同的啟動技術。真正強大的本地化，6自由度姿態和係統狀態，3D網狀拚接和眾包網更新都是需要解決的技術問題。不要忘記應用程序級別的挑戰，比如訪問權限、身份驗證等（盡管它們現在主要是工程問題）。

2. AR應用是如何連接到這個世界的，並知道它們的真實位置？

沒有了ARCloud，這類事情是不可能實現的。

GPS並不是一個很好的解決方案，即使是即將到來的精度僅僅1英尺的GPS技術。我們如何讓AR在大範圍的室外工作？我們如何在絕對坐標（經緯度）和相對於現有結構的相對坐標下，實現亞像素精度的定位？我們如何在室內和室外做到這一點？我們如何確保內容停留在原地，甚至是幾天或幾年後？我們如何管理這麼多的數據？對絕對坐標進行本地化是解決這個問題的真正要緊的技術問題。

3. AR應用是如何理解和連接現實世界中的事物的呢？

手機可以感知你走過的位置，而捕捉和管理3D數據結構則需要ARCloud。

我們的應用如何理解世界的3D結構或幾何圖形呢？例如，這是一個巨大的立方體狀結構，我的口袋妖怪可以藏在後麵或跳進去，然後識別出這些東西到底是什麼；再比如，這個斑點實際上是一個沙發，我的虛擬貓咪應該遠離它。實時的設備高密度3D重建，實時3D場景分割，3D物體分類（不用擔心，我將解釋這一主題中所有這些術語的含義），用雲計算的模型回填本地處理是一個挑戰。

就像在AR領域一樣，打造一款不錯的Demo並不難，但在現實世界中，要打造出一款在真實世界運行良好的產品是非常困難的。在接下來的幾個月裏，你可能會聽到關於ARCloud的消息：如果你感到困惑，不是你的原因，而是他們。就在你以為你在關注AR、VR和MR的不同之處時，一切都變得更加深奧了！供應商使用相同的術語，卻表達了完全不同的東西，比如：

l “多人AR遊戲”可以指一種純粹的遊戲級別的方式，用來追蹤玩家在遊戲中所做的事情，而不需要計算機視覺或空間意識；或者它表示用來解決一些非常困難的計算機視覺定位問題的方法；或者兩者都有。抑或，它們可能意味著完全不同的東西。

l “戶外AR”可能指的是一款ARKit應用，具有好看而豐富的內容；也可能意味著全球化自動駕駛汽車的3D地圖係統。

l “識別”可能意味著手動配置你的應用可以識別的單個標誌點/圖像；或者它可能意味著一個實時的通用機器學習驅動的，全球3D對象分類引擎……

今天的AR雲服務是否能勝任這項工作？

當我在電信基礎設施領域工作時，有一種類似禪宗的真理，說“沒有雲，隻是別人的電腦”。

我們最後總是使用連接一台電腦和另一台電腦的銅對或光纖束（或無線電頻譜），哪怕是在世界各地。這不是魔法，隻是很難。我們的雲計算基礎設施與當前賦能網頁和移動應用的雲計算無法適配，是因為AR（就像自動駕駛汽車和無人機和機器人）是一個實時係統。任何曾在電信行業工作過的人都能夠深刻理解：實時基礎設施和異步基礎設施是兩個完全不同的東西。

因此，盡管AR雲的許多部分將涉及托管大數據、提供web APIs和訓練機器學習模型，但就像今天的雲計算一樣，我們需要對如何大規模地支持實時應用和AR交互進行深刻的反思。

基本的AR用例有：

l 使用“AR Skype”，通過流媒體直播房間實時3D模型，更新與事物相關的數據和應用程序。

l 根據我的視線來展現“我在看什麼“與”誰走向我“這樣的流媒體（豐富的圖形）數據，或者誰走近我。

l 在音樂會上，維護並更新每個人和應用程序的實時狀態。

如果無法做到上述類型的用戶體驗，AR就沒有真正的意義。我們還是繼續使用智能手機應用吧。但是，為數十億人提供上述支持將是一個巨大的商業機會。5G網絡將會發揮很大的作用，而且是專門為這些用例設計的。可是，我們過去所搭建的基礎設施，並不是為了支持大規模並行、數據密集型、實時的應用程序而構建的。

ARKit（或ARCore）沒有了AR雲就沒用了嗎？

最終由AR應用的用戶來決定這一點。沒用的詞是一個挑釁的詞。到目前為止，在一個月的時間裏，根據早期的數據，用戶傾向於“幾乎毫無用處”。我個人認為，有用的應用可以在今天的ARKit中建立起來，但它們隻會對某些人有用，偶爾也會有用。它們可能是一種有趣的新奇事物，當你分享它時，它會讓你微笑。如果你買了沙發，你可以提前試一試。但這些並不是為日常應用的剛需而生的新平台。

所以，我們需要原生應用，那些真正連接到現實世界的應用。為了將我們的應用程序連接到彼此和世界，我們需要相應的基礎設施來做到這一點。我們需要AR雲。

本文原文鏈接：

編譯者信息：

亮風台（上海）信息科技有限公司，產品HiAR SDK主打功能為雲識別，目前支持本地識別、雲識別、以及本地和雲混合識別。前不久，亮風台公布B輪融資，消息提到“雲+端”是重要戰略，可以預見，下一步，HiAR SDK的雲能力也會再次提升。