這是上周微軟在IT盛會Ignite 2021上與任天堂合作展示的HoloLens版本《Pokemon Go》。這個版本與此前的移動端版本有所不同，玩家可與寵物小精靈進行直接的互動，而且兩位玩家在現實中相遇，能夠看到彼此的寵物小精靈，來一場寵物小精靈Battle。

相比于《Pokemon Go》，微軟的黑科技“全息傳送”再現更引人關注，微軟技術研究員基普曼通過全息投影出現在了大會現場。

無論是HoloLens版本的《Pokemon Go》，還是基普曼的全息投影的實現，都是基于微軟最新推出的服務平臺Microsoft Mesh。

什么是Microsoft Mesh ？

Mesh作為一個由Azure提供支持的新的混合現實平臺，在此次大會上被微軟正式推出。據微軟介紹，它將簡化多用戶XR應用程序的創建。我們可以將Mesh理解為，是微軟為開發者提供用來創建多人XR應用程序的開發工具。

Mesh平臺允許處于不同物理位置的人們通過不同類型的設備，以虛擬形象甚至是全息投影的方式進行協作、共享，將最具真實感的自己投射在MR世界中與人交流，就像是在真實世界與人互動。

圖源：微軟官網

基普曼表示：“你可以感受到自己與他人進行內容共享，或是通過不同MR設備進行傳送，即使你們并不處在同一個物理位置。”

據微軟介紹，Mesh是微軟研發多年的成果，涉及內容從手部、眼動追蹤，Hololens的發展到創建持久性全息圖、創建個性化虛擬形象的人工智能模型。

云計算是微軟的核心業務，Mesh的底層就是云計算平臺Azure，受益于其龐大的計算資源、數據、人工智能以及MR服務。

因此Mesh是云計算的進一步擴展，Mesh所支持的全息傳送以及高精度的虛擬人物面部、動作追蹤等，需要云計算去幫助解決運算、硬件、渲染、儲存等諸多問題。

基普曼說：“我們將越來越多的價值建立在智能云Azure。在這些協作體驗中，其內容并存儲在設備或是應用中，而是儲存在云端，需要特殊的鏡頭讓我們去看到他。”

借助支持Mesh的應用，無論地理位置如何，用戶都可使用3D物理模型（無論是小到家具，還是大到噴氣發動機等等事物）在共享空間以自己虛擬形象或是全息投影形象出現在共享的虛擬空間中，在全息模型上進行協作。

那微軟為何要推出多用戶XR應用程序開發平臺Mesh？

微軟在介紹中表示MR是繼大型主機、個人電腦、智能手機之后的第四波計算機浪潮，正在成為跨消費與商業領域的主流。MR將人們從屏幕體驗中解放出來，讓人們可以在自己的空間與人或物產生直接交互。

據介紹，世界上有數以億計的用戶通過手機進行過任天堂的MR體驗，《財富》雜志所統計的前五百強組織50%以上曾利用HoloLens等MR解決方案提高投資回報率，促進業務發展。

鑒于此，MR發展至今能為人們帶來MR體驗的應用程序數量應該非常可觀，然而事實并非如此，因為一些開發條件限制了開發人員的MR體驗的開發，特別是以下4個問題：

1、在MR體驗中呈現具有真實感的人需要大量時間與資源；

2、跨時區與設備類型在共享MR空間保持全息圖的穩定并非易事；

3、難以將擁有高保真度的3D模型引入MR體驗以支持客戶所擁有的文件格式；

4、在地理位置相對分散的MR會話中，想要同步用戶的動作與表情是一項復雜的工作。

微軟正是為了解決這些挑戰而推出Mesh：讓開發人員進行多用戶MR應用程序設計，而無需擔心復雜的技術挑戰。

那Mesh所實現的功能背后是怎樣的技術在支撐？

Mesh功能呈現及技術解析

微軟對于Mesh的定位，主要在于打造能夠跨屏幕、自然交互、與真實觀景和人互動的體驗。因此該平臺需要圍繞微軟現有的HoloLens平臺、MR頭顯平臺以及更多常用平臺進行功能設計。

事實上，Mesh平臺從多個方面定義了未來XR應用應有的一些特質，比如跨平臺支持、基于云端服務、支持LBA AR等等。每一項功能單拎出來看，都有與之對應的企業及服務面向一部分特定用戶群體在蓬勃發展。

圖源：微軟官網

1、與微軟其他平臺、工具相互通

Mesh基于Azure打造，能與微軟其他平臺、工具相互通。借助Azure Active Directory和Microsoft帳戶等身份服務，在經過適當身份驗證和授權后，能將用戶帶入安全且受信任的會話中。Microsoft Graph則可讓用戶將商業或是消費者空間的內容、聯系等信息接入。而且作為開發人員，而無需擔心計費、音視頻傳輸、底層實時管理功能等核心基礎架構。

除了核心平臺，微軟由AI支持的關鍵性功能讓Mesh能通過實現用于MR的大規模多用戶在線（MMO）場景來解決一些復雜的技術挑戰。

2、臨場感

Mesh提到的臨場感主要指兩點，第一點是有代表性的虛擬形象，在多用戶MR體驗中，不同類型設備使用不同代表性虛擬形象，這些虛擬形象用戶可進行個性化定制。Mesh通過設備的Inside-out傳感器為用戶提供有代表性的3D虛擬形象并做出呈現。Mesh平臺自帶虛擬形象與自定義制作工具，因此虛擬形象可直接使用。此外，該平臺還可以通過其AI驅動的動作模型幫助現有的虛擬形象捕獲與用戶動作一致的動作和表情。

第二點是通過Outside-in傳感器實現真實的360度全向拍攝，這些傳感器可進行自定義相機的設置，比如通過 Mixed Reality Capture Studio將捕獲的3D圖像以高保真度保存下來，或是利用Azure Kinect捕獲深度感應用圖像，用以幫助生成全息圖像。

Mixed Reality Capture Studio

當全息圖生成后，可在XR頭顯或是手機、PC、平板電腦上啟用基于Mesh開發的應用程序使用全息圖，并將其呈現給用戶。

3、空間地圖

在Mesh到來之前，各種設備只擁有自己局部世界的地圖，而借助Mesh，這些本地緩存地圖可進行合并與優化，形成一個對空間、環境的全局式了解。這個框架將內容進行錨定，視野進行分享，并進行3D協作。

Mesh幫助創建的地圖精度要高于GPS，甚至是在GPS無法進行定位的空間進行。它有助于交付可以與特定興趣點關聯的“世界鎖定全息圖”。此外，Mesh可以生成與給定對象的精確布局和幾何形狀對齊的相同理解，從而使開發人員可以輕松構建可能需要將對象與視覺信息（如指令、服務記錄，以及其他重要數據）完全匹配的可視化信息覆蓋的應用程序對象。

4、全息渲染

全息渲染是智能邊緣云計算和智能云架構的典型實例，全息渲染在Mesh的支持下可以對設備的運算與功耗不做要求的情況下，依然做到高保真度。Mesh允許開發者為每個場景與模型在本地獨立渲染與通過云連接進行的遠程渲染之間進行選擇，賦予了開發者在進行應用程序設計時更高的靈活度，這些應用程序可根據設備的不同進行延遲與保真度的優化。

不僅如此，全息渲染還支持大多數的3D文件格式，在啟用Mesh的應用程序中進行本地渲染，從而解決引入用戶已有3D模型進行協作的問題。

5、多用戶同步

在虛擬協作會議中創建全息圖的共同視角，并且進行互相交流對開發者而言是一個大的挑戰。在Mesh中，共享的內容是通過多用戶同步啟用的，這將有助于對參與者姿勢、動作、表情，或是空間中全息圖的變化進行更新。所有這一些都發生在100毫秒的延遲內，無論是在同一個物理空間或是異時區。Mesh中的空間音頻會對這些功能進行增強，從而在多用戶場景中營造在相同物理空間的感覺。

據微軟介紹，為了利用這些功能，Mesh會為開發者提供跨平臺的SDK，以便開發者針對不同設備類型進行應用程序的創建。目前Mesh與C++與C#一起支持Unity，在接下來的幾個月中，Mesh將會支持Unreal、Babylon以及React Native。除了訪問功能外，SDK還提供預構建的UX結構，供開發人員在應用程序中使用。這將使得開發人員更快速、簡潔地提供MR體驗。

Mesh平臺的出現，將這一系列新功能集合到一起，共同成為XR應用的特質呈現。這種整合，將零星的技術方向化零為整，讓XR的概念逐步具象化，而這正是它的最大貢獻。

Mesh背后，Azure智能云帶來的價值

基于Mesh開發的XR應用程序，能被廣泛的應用于多個領域、多個場合，這主要歸功于Azure智能云帶來的價值。

Mesh的虛擬協作特性，能讓跨時區的用戶通過數字化的方式匯聚在一起，共同探討理解有助于更快速地查看數據資料，并更好地做出決策。

用戶可進行隨時隨的共同訓練，得益于”Holoportation”（全息傳送：微軟公司開發的3D視頻捕捉系統）、全息共享與可視化功能，合作伙伴無需花費時間與精力在旅途中，便可進行面對面的學習。

例如，遠程醫療，專家可以看到其他醫師的診斷，并進行數據覆蓋以確保達成共識，更好地解決問題、共同制定決策。設計師、工程師可共同進行3D設計，團隊成員可在參與設計時利用不同設備進行想法和創造力的分享。無論是在現實中親臨現場，還是通過全息傳輸，同事間都能在內容上進行實時協作。

Mesh的多應用場景與基于云計算平臺Azure的性質，意味著微軟云計算產業與MR業務的擴展。

微軟技術研究員亞歷克斯·基普曼（Alex Kipman）表示：“從一開始，這就是混合現實的夢想。” 實際上，您可以感覺自己就像在與共享內容的人在同一個地方，或者您可以從不同的混合現實設備進行傳送，即使在身體不在一起的情況下也可以與人們在一起。”

他認為，伴隨著越來越多的人在Mesh平臺活躍，我們所有人都是參與正在Azure智能云中建立價值的一環。在這些協作體驗中，內容不在目前用戶的設備或應用程序內部。全息內容被上傳到到云端，這意味著用戶所佩戴的混合現實設備只需要負責沉浸式的呈現視覺效果和交互即可。對于有限算力的個體而言，這是一種飛躍。”

最重要的是，隨著XR應用在Meah平臺的逐漸發展和成熟，更多的安全隱患和從未見過的網絡安全事件開始成為備受矚目的焦點。相比之前，在基于Azure智能云Meah平臺上獲得的新版AltspaceVR體驗，可以使公司能夠使用企業級安全功能（包括安全登錄，會話管理和隱私合規性）在虛擬現實中舉行會議和工作聚會。

Azure智能云為Meah容納海量模型場景和人物提供先決條件，這令該平臺與傳統意義上的APP區分開來。你可以理解為在XR環境下，這種應用間的穿梭更像是一種城市之間的一次旅行，期間不會產生下載的過程，更不會出現硬件算力適配的問題。

實際上，自2020年末開始，各個大廠開始全力推行基于云服務的平臺服務策略。其中，Epic的數字人平臺、HTC的VR社交平臺等等，均先后擁抱云技術。算力、資源的云端化，將為更加安全、高性價比的XR體驗下放到每個普通消費者身邊，這也是XR產業普及的曙光。

總結

微軟在XR方向布局不遺余力，也正如技術負責人Alex Kipman從“海底深處”突然“閃現”，之后用詩般浪漫的念白開場所述—— 一個人做夢只是夢而已， 所有人一起做的夢就叫現實。

錯失移動互聯網先機的微軟，正在MR領域結合云計算優勢帶著每個人走近未來。Mesh，絕非是錦上添花的存在，如果保持這樣的優勢，擁有XR底層開發系統與云計算支持的微軟或將定義XR未來的某些標準。

而隨著蘋果、Facebook等紛紛以不同方向入局，這將為未來的MR產業帶來極為豐富的生態。