這個(gè)終極夢(mèng)想，真的就那么遙不可及嗎？
我們今天就來(lái)聊聊，土豪背后的技術(shù)——XR（VR，AR，MR）技術(shù)，看完后，你就知道，未來(lái)已被拉近。
簡(jiǎn)單科普一下什么是XR，XR 就是VR、AR、MR 的統(tǒng)稱。虛擬現(xiàn)實(shí)（Virtual Reality）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality）和混合現(xiàn)實(shí)（Mixed Reality），正在給我們的生活方式帶來(lái)一系列的變化。不遠(yuǎn)的未來(lái)，你還可以坐在虛擬的會(huì)議室跟你虛擬的小伙伴們開(kāi)一場(chǎng)云上會(huì)議，在虛擬的智慧教室上一堂多人互動(dòng)課程、做一場(chǎng)模擬實(shí)驗(yàn)，甚至進(jìn)入虛擬世界進(jìn)行真實(shí)的設(shè)計(jì)、制造，虛擬和真實(shí)之間，邊界不再那么明顯。這一切，都得益于XR（VR，AR，MR）技術(shù)的應(yīng)用。
XR技術(shù)，究竟依賴哪些核心能力呢？華為云最新發(fā)布的XR云服務(wù)，給了我們答案。它提供了五大核心技術(shù)和能力，打開(kāi)未來(lái)新視界。
1、 大規(guī)模3D地圖構(gòu)建能力
3D地圖是數(shù)字孿生世界的基礎(chǔ)。傳統(tǒng)制作3D地圖的成本，是非常高昂的。圖商需要采購(gòu)價(jià)格高昂的測(cè)繪車隊(duì)，常年雇傭規(guī)模在千人左右的采集團(tuán)隊(duì)，并組織人力對(duì)采集來(lái)的數(shù)據(jù)進(jìn)行標(biāo)注、補(bǔ)缺。隨著AI算法、傳感器的發(fā)展，技術(shù)上已能實(shí)現(xiàn)自動(dòng)化程度更高的制圖流程。
華為云XR提供手機(jī)拍攝視頻的眾包建圖方案，只要是通過(guò)手機(jī)拍攝慢速轉(zhuǎn)動(dòng)的視頻，或者有重疊區(qū)域的圖片，覆蓋建圖的區(qū)域，傳至云端即可通過(guò)算法還原出3D模型。如果將3D模型中的3個(gè)點(diǎn)與數(shù)字世界的坐標(biāo)對(duì)齊即可將局部的3D模型補(bǔ)充到數(shù)字世界中，大大降低了制圖成本。
華為云同時(shí)支持衛(wèi)星制圖，具備大面積快速覆蓋能力，配合地圖自動(dòng)生成流水線，大規(guī)模構(gòu)建3D地圖。
2、 厘米級(jí)全場(chǎng)景適應(yīng)的空間計(jì)算
- 高精度定位技術(shù)大體上可以分為三類：基于信號(hào)的定位、基于航跡推算的定位、基于環(huán)境特征匹配的定位。
- 基于信號(hào)的定位：普通的多星（GPS、北斗、伽利略）定位精度大約能做到1-2米。新的RTK（Real - time kinematic，實(shí)時(shí)動(dòng)態(tài)）載波相位差分技術(shù)，是能夠在野外實(shí)時(shí)得到厘米級(jí)定位精度的測(cè)量方法。
- 基于航跡推算的定位：IMU是常用的航跡推算系統(tǒng)，優(yōu)勢(shì)在于沒(méi)有外部依賴，可以提供短時(shí)高精度的定位結(jié)果，缺點(diǎn)在于在連續(xù)的位置和方向的測(cè)量中誤差會(huì)不斷累積，導(dǎo)致位置和姿態(tài)的測(cè)量結(jié)果偏離實(shí)際位置，因而無(wú)法做長(zhǎng)時(shí)間的高精度定位。
- 基于環(huán)境特征匹配的定位技術(shù)：華為云XR能力平臺(tái)提供根據(jù)視覺(jué)的定位技術(shù)，通過(guò)定期上傳照片，在云端進(jìn)行特征點(diǎn)提取、匹配，能夠做到厘米級(jí)定位與一度以內(nèi)定姿（6DOF）。針對(duì)光照條件差，弱紋理的夜晚和室內(nèi)場(chǎng)景，通過(guò)AI方式進(jìn)行增強(qiáng)，實(shí)現(xiàn)夜晚也能找到圖像匹配點(diǎn)，室內(nèi)也能定位的全場(chǎng)景適應(yīng)的空間定位算法�；赩PS和SLAM的緊耦合算法架構(gòu)，可逐步實(shí)現(xiàn)長(zhǎng)時(shí)間的室內(nèi)外導(dǎo)航。
3、 提升效果同時(shí)提升數(shù)倍效率的AI渲染算法
3D渲染管線也稱為渲染流水線，可以將其理解為一個(gè)流程，就是我們準(zhǔn)備一些數(shù)據(jù)，讓GPU對(duì)這些數(shù)據(jù)做一些處理，最后得出一張二維圖像，渲染流程主要分為幾個(gè)大的階段：數(shù)據(jù)準(zhǔn)備階段，頂點(diǎn)處理階段，光柵操作階段，像素著色階段。當(dāng)前渲染優(yōu)化有兩個(gè)方向，一個(gè)是渲染畫(huà)質(zhì)好，一個(gè)是游戲?qū)崟r(shí)性高。華為通過(guò)對(duì)渲染管線中算法的深入研究和調(diào)試，并通過(guò)端云結(jié)合的AI算法，對(duì)渲染管線進(jìn)行拆分，達(dá)到畫(huà)質(zhì)和實(shí)時(shí)性的均衡，實(shí)現(xiàn)數(shù)倍效率，畫(huà)質(zhì)相對(duì)于傳統(tǒng)渲染方式有大幅的提升。
4、十萬(wàn)發(fā)絲級(jí)數(shù)字人渲染
凱文·凱利：
“不久的將來(lái)，現(xiàn)實(shí)世界中的每一個(gè)地方和事物 —— 每一條街道、每一個(gè)燈柱、每一棟建筑物和每一個(gè)房間 —— 都會(huì)在鏡像世界中擁有它的全尺寸“數(shù)字孿生兄弟”。”
華為在數(shù)字人的生成、建模、渲染階段均有所涉獵，如全自動(dòng)化90%相似度高精細(xì)人體模型生成。傳統(tǒng)的建模通過(guò)離線工具制作，費(fèi)時(shí)費(fèi)力，華為考慮改造建模過(guò)程，實(shí)現(xiàn)快速?gòu)?fù)制、自動(dòng)化生成、快速建模。
渲染過(guò)程的開(kāi)發(fā)，主要是從皮膚、牙齒、眼睛、毛發(fā)等等方面入手。數(shù)字人的表情肢體動(dòng)作自然驅(qū)動(dòng)和表達(dá)，唇音同步延時(shí)<100ms，使用者時(shí)延無(wú)感知 。皮膚是半透的，比較薄的地方有散射的效果，光散射過(guò)來(lái)會(huì)產(chǎn)生折射，加入后會(huì)多一些細(xì)節(jié)；眼睛是晶狀體，有透射效果；頭發(fā)有很多層，每層有不同效果。華為實(shí)時(shí)高真實(shí)度數(shù)字人繪制，實(shí)現(xiàn)逼真的發(fā)絲、皮膚、眼睛渲染呈現(xiàn)，10萬(wàn)級(jí)發(fā)絲，fps>30幀，整體主觀打分8分以上。
5、360度VR視頻TWS FOV技術(shù)（Tile-Wise-Streaming Field of View）
360度VR視頻領(lǐng)域，華為提出了TWS FOV傳輸技術(shù)，可以解決4K硬件解碼能力終端，基于4K碼率觀看8K片源的問(wèn)題。通過(guò)TWS映射方式，從像素點(diǎn)上就可以相對(duì)ERP映射，直降40%碼率。通過(guò)增加低資源消耗的背景流，解決黑邊問(wèn)題，加入單幀切換技術(shù)，提升轉(zhuǎn)頭高清體驗(yàn)。
XR技術(shù)的研究和應(yīng)用，未來(lái)將有無(wú)限可能。虛擬和真實(shí)將相輔相成，實(shí)現(xiàn)真實(shí)世界與虛擬世界之間的無(wú)界溝通和協(xié)作。在不久的將來(lái)，人人都可像鋼鐵俠一樣，通過(guò)XR技術(shù)釋放無(wú)窮的創(chuàng)造力和想象力，突破極限，共筑未來(lái)。
