大家好，我是華為高級架構(gòu)師左俊。今天我將與大家分享華為在通信云服務(wù)方面的技術(shù)探索與實踐。作為負(fù)責(zé)此服務(wù)的架構(gòu)師，我會先為大家介紹華為云的通信云服務(wù)是如何激活商業(yè)伙伴的市場潛力。
1. 哲學(xué)三問
1.1 我們是誰?
華為通信云來自華為歷史最悠久的云核心網(wǎng)話音團(tuán)隊，是全球領(lǐng)先的實時音視頻通信基礎(chǔ)設(shè)施設(shè)備與解決方案提供商。我們從運(yùn)營商業(yè)務(wù)出發(fā)，30年來持續(xù)專注于固移實時音視頻、增值業(yè)務(wù)與VoLTE/Vo5G的技術(shù)研發(fā)與支持。
我們整個團(tuán)隊將面向運(yùn)營商的服務(wù)作為第一步，從最早于1993年成功自研華為公司史上具有里程碑意義的C&C08交換機(jī)，到2005年將IMS推向市場并已獲得300+商用合同，占全球運(yùn)營商話市場的35%，排名第一;再到2017年以VoLTE/Vo5G開啟話音/視頻完全承載IP的時代，并幫助中移動建設(shè)全球最大的VoLTE網(wǎng)絡(luò)……30年潛心深耕實時通信領(lǐng)域，為用戶奉獻(xiàn)最佳音視頻體驗是我們矢志不渝的目標(biāo)與追求。市場的快速演進(jìn)，對客戶對技術(shù)與商業(yè)提出了更新的訴求。為此，2018年開始我們嘗試開發(fā)通信云服務(wù)，旨在與行業(yè)分享我們在運(yùn)營方面的經(jīng)驗，通過實時通信服務(wù)為行業(yè)應(yīng)用賦能。
1.2 我們有什么建樹?
在運(yùn)營商領(lǐng)域，我們有頗為豐富的建樹。例如中國移動的VoLTE服務(wù)有80%以上承載在華為的設(shè)備之上，并且我們也打通了全球首次Vo5G通話;除此之外，我們也負(fù)責(zé)沙特Haji活動的通信保障——作為全球用戶最為密集的公共活動，Haji可帶來20倍于日常話務(wù)量的通信需求與100倍于日常終端聯(lián)接量的接入需求，其對整個核心網(wǎng)的流控以及可靠性來說無疑是巨大的挑戰(zhàn)。而華為從2006年開始就作為Haji活動提供通信獨家技術(shù)支持與服務(wù)保障，一改之前，當(dāng)?shù)剡\(yùn)營商年年斷網(wǎng)，服務(wù)宕機(jī)的囧境。我們希望將華為在運(yùn)營商領(lǐng)域深厚的經(jīng)驗積累逐步運(yùn)用在云服務(wù)的建設(shè)運(yùn)營當(dāng)中。
1.3 我們的愿景?
我們的愿景實際上就是將華為在運(yùn)營商領(lǐng)域多年耕耘而來的經(jīng)驗積累與技術(shù)成果運(yùn)用在云服務(wù)之上，為我們的行業(yè)合作伙伴拓展基于云的業(yè)務(wù)的無限可能。我們希望將多年在流控、可靠性等方面積累下來的技術(shù)成果帶給客戶，與此同時也把運(yùn)營商的一些設(shè)備以API的形式開放給我們的企業(yè)級客戶。與客戶一起打造最佳體驗的實時音視頻聯(lián)接，使能運(yùn)營商和行業(yè)應(yīng)用。
2. 華為云 · 視頻通話服務(wù)實踐與分享
華為整體是以運(yùn)營商起家，從2010開始在云服務(wù)領(lǐng)域逐步發(fā)力。2018我們推出視頻通話服務(wù)并將這一能力開放給廣大客戶。
那么過去一年我們做了什么?從一開始我們是怎樣去思考的?縱觀通信服務(wù)，RTC技術(shù)與行業(yè)趨勢正不斷變化，而視頻通話行業(yè)尤為明顯，各類型智能終端接入極大地擴(kuò)展了市場的空間。從技術(shù)維度來說，5G網(wǎng)絡(luò)接入開啟了全新發(fā)展契機(jī)，而包括AV1、VVC、EVC、AVS3等在內(nèi)的編解碼方案百家爭鳴競爭激烈;隨著并行計算的不斷興起，智能計算的權(quán)重也越來越大。
從行業(yè)維度來看，在線教育和互動連麥早已成為大家踴躍探索的重點，而今天我將重點聚焦華為通信云服務(wù)在智能終端通信領(lǐng)域的探索。
從2018年可進(jìn)行語音通話的華為音箱到2019年初支持視頻通話的華為兒童手表，再到2019年中發(fā)布的華為智慧屏以及現(xiàn)在的華為手機(jī)與暢連通話，華為專注于將實時音視頻逐漸融入各類智能硬件，并為消費(fèi)者提供隨時隨地順暢溝通的服務(wù)體驗。
在開始時我們思考了RTC實時音視頻所面臨的挑戰(zhàn)，首先需要考慮的是海量終端接入，今年我們提出年底系統(tǒng)容量須達(dá)到2億，未來三年要達(dá)到20億并覆蓋全球;除此之外，各種類型終端可接入，統(tǒng)一賬號體系下的各類多終端實現(xiàn)互通;我們還希望系統(tǒng)實際運(yùn)行可靠性不低于99.9999%，同時以數(shù)據(jù)為鏡，洞悉設(shè)備運(yùn)行狀態(tài)知曉運(yùn)行細(xì)節(jié)并及時糾正錯誤從而優(yōu)化用戶體驗。
從質(zhì)量保證的角度考慮，首先我們需要清晰意識到現(xiàn)實的網(wǎng)絡(luò)狀況，并思考如何在有限的帶寬下為用戶提供高質(zhì)量視頻通話服務(wù)，同時還要使功耗、清晰度、碼率和時延四者平衡且協(xié)同。
從網(wǎng)絡(luò)優(yōu)化的角度考慮，我們認(rèn)為網(wǎng)絡(luò)波動是一個正常現(xiàn)象，而緩解網(wǎng)絡(luò)波動需要對現(xiàn)有的組件進(jìn)行改造，從而保證用戶以最優(yōu)方案接入服務(wù)。
最后同樣也是華為最為擅長的考慮角度就是互聯(lián)互通，也就是打破數(shù)據(jù)與服務(wù)孤島，實現(xiàn)全連接與全業(yè)務(wù)互聯(lián)。
2.1 海量終端接入
可靠性和大容量
我們在構(gòu)建系統(tǒng)時考慮以上四個方面，而可靠性和大容量是我們一開始就重點考慮的，因為不可靠在網(wǎng)絡(luò)當(dāng)中是一種常態(tài)，可能出現(xiàn)包括光纖挖斷、業(yè)務(wù)浪涌、突發(fā)丟包、防火墻攔截、DNS故障等在內(nèi)的多種突發(fā)狀況。應(yīng)對突發(fā)危機(jī)的有效措施是快速部署邊緣節(jié)點并自動選擇最佳節(jié)點以處理業(yè)務(wù)或媒體，這對于整個云服務(wù)來說至關(guān)重要。這里我們需要考慮的是如何實現(xiàn)快速部署并保證系統(tǒng)可以進(jìn)行水平擴(kuò)展。
我們給出的實現(xiàn)業(yè)務(wù)高可靠的設(shè)計理念是“E2E多層次多路徑”。首先E2E化整為零，將對服務(wù)的拆解合理化并保證每一項服務(wù)都是可去水平擴(kuò)展，接入模塊可有效進(jìn)行負(fù)荷分擔(dān)以及最優(yōu)路徑接入。對于關(guān)鍵節(jié)點，我們在設(shè)計時也是考慮了對于Region級別的容災(zāi);而對于特別關(guān)鍵節(jié)點與核心節(jié)點，我們會考慮跨網(wǎng)或跨云服務(wù)商的部署，從而使整個云服務(wù)做到全負(fù)荷分擔(dān)且任意節(jié)點可用。
以數(shù)據(jù)為鏡
以數(shù)據(jù)為鏡，實際上就是數(shù)據(jù)驅(qū)動下的實時監(jiān)測與問題快速識別。傳統(tǒng)運(yùn)營商在設(shè)計系統(tǒng)時由于各個模塊間彼此分離，形成數(shù)據(jù)孤島，在很多情況下獲取不到所有數(shù)據(jù)，這對運(yùn)營商來說是個很大的問題。我們在設(shè)計這部分時采用了傳統(tǒng)OTT，通過端測與SDK上報數(shù)據(jù)，每通話平均上傳2000+的指標(biāo)，系統(tǒng)可在5分鐘內(nèi)定位問題，85%的問題，可由智能運(yùn)維系統(tǒng)AI問題庫的方案，自行修復(fù)，自行解決。
安全與隱私同樣是值得關(guān)注的重點。從一架構(gòu)開始就嚴(yán)格遵循GDPR(《通用數(shù)據(jù)保護(hù)條例》General Data Protection Regulation，簡稱GDPR)的要求，對所有數(shù)據(jù)進(jìn)行匿名化等處理。上圖右側(cè)圖線展示了感知的整個過程，其中藍(lán)色豎線代表發(fā)生了一次網(wǎng)絡(luò)震蕩。在震蕩的過程中，網(wǎng)絡(luò)丟包、U-VMOS統(tǒng)計、幀率等指標(biāo)異動會在第一時間被偵測到并體現(xiàn)出來。當(dāng)然，這種偵測是基于用戶級別去做的。
在設(shè)計之初我們就意識到，面對海量用戶終端的安全隱私問題，僅僅從技術(shù)上實現(xiàn)安全是遠(yuǎn)遠(yuǎn)不夠的，而應(yīng)當(dāng)確保整個開發(fā)過程與解決方案的安全和可信。華為為此做出了許多努力，從開始的威脅建模到最后的安全驗收測試與交付維護(hù)，包括其中的滲透測試等等。從開發(fā)人員的可信到發(fā)布過程的可信，二進(jìn)制編碼也可做到溯源……華為將可信植根于日常流程，實現(xiàn)技術(shù)與過程融合可信，極大提升了整個平臺的隱私安全水平。
上圖右側(cè)展示的是我們所做的一個安全解決方案。安全認(rèn)證確保只有通過鑒權(quán)的用戶才能接入，而視頻通話云服務(wù)不會保存用戶通話隱私;媒體端到端的加密有效確保了通信安全，客戶可以使用自已信任的存儲資源，來存儲媒體，讓客戶放心，安心的使用業(yè)務(wù);
2.2 質(zhì)量保證
關(guān)于質(zhì)量保證，通過分析發(fā)現(xiàn)在用戶尤其是中國典型寬帶用戶的使用過程中，接入網(wǎng)絡(luò)上行帶寬受限，普通家庭帶寬留給通信的上行帶寬僅1Mbps，嚴(yán)重限制了家庭場景的實時視頻通話的體驗。若想達(dá)成一個有競爭力的解決方案，我們必須將720P與1080P下的整體碼率降到1Mbps以下。
為實現(xiàn)該效果，我們使用華為自研的HW265技術(shù)(HW265是華為多媒實驗室基于H.265進(jìn)行全方位優(yōu)化的編碼技術(shù)，兼容H.265但現(xiàn)網(wǎng)綜合表現(xiàn)遠(yuǎn)優(yōu)于H.265)，作為編解碼器——去年和今年的MSU世界視頻編碼器大賽，華為HW265編碼器蟬聯(lián)冠軍。所以從目前來看，HW265能夠把720P下的碼率降到1Mbps以下。除了正常的編解碼之外，一些后續(xù)我會提到的前后處理也十分必要，可進(jìn)一步降低碼率，對于在帶寬受限網(wǎng)絡(luò)波動的場景下保證視頻的有效傳輸至關(guān)重要。
也許有人會對H.265的兼容性有一定疑慮，這里我們使用了諸如非對稱編解碼等小技巧以實現(xiàn)端的廣泛適應(yīng)性與系統(tǒng)可控。
前后處理——AI使能高清低碼
除了編解碼層面的改進(jìn)，整個前后處理過程還能被進(jìn)一步優(yōu)化。這里我們主要進(jìn)行了以下實踐：在發(fā)送端，我們基于ROI的動態(tài)檢測來檢測人的視覺關(guān)注區(qū)域并為同一畫面分配不同碼率;在接收端則是借助超分辨率，尤其是在低碼率的場景下，例如將360P的視頻畫面投放到大屏電視上。此時如果不使用超分辨率那么電視所呈現(xiàn)的畫面將會非常模糊，用戶體驗極差。所以我們在接收端使用超分辨率的特性實施對畫面質(zhì)量的躍升觀眾主觀感受能達(dá)到720P的效果。
實現(xiàn)超分辨率時我們也用了一些小技巧，例如在Y通道上我們運(yùn)用超分辨率模型而在U、V通道上我們使用雙三次線性插值從而控制算力與復(fù)雜度，而其對整體清晰度的提升實際上依然能帶來一個比較顯著的效果。目前在我們內(nèi)部的主觀雙盲測試中，ROI和超分辨率的MOS分可接近4。
2.3 網(wǎng)絡(luò)優(yōu)化
網(wǎng)絡(luò)優(yōu)化的內(nèi)容非常細(xì)碎，整個RTC通信一般分為以下九個環(huán)節(jié)：采集、前處理、編碼、打包、網(wǎng)絡(luò)傳輸、解包、解碼、后處理與顯示。實際上這些步驟還能進(jìn)一步拆解細(xì)化，例如“打包”包括網(wǎng)絡(luò)適應(yīng)性等，僅憑借一種黃金方式來降低整個端到端的時延顯然是不現(xiàn)實的。一個成功的低延時解決方案，其關(guān)鍵在于日積跬步，從細(xì)節(jié)著手優(yōu)化。
首先在采集顯視階段，時延主要取決于硬件性能;而前后處理階段，我們主要通過插件化架構(gòu)與按照不同業(yè)務(wù)場景動態(tài)按需加載最小插件集來降低前后處理時延。;在不必要的場景，我們就不使用插件，因為某些插件會增加時延。
對于編解碼階段，我們根據(jù)芯片能力自適應(yīng)選擇軟、硬編解碼從而降低編解碼時延開銷，因為硬件編解碼的處理速度會更快一些;對于弱網(wǎng)場景，準(zhǔn)確地預(yù)測帶寬至關(guān)重要。因為如果你使用FEC和ARQ就會極大提升時延，對于整個RTC的通信來說是比較致命的。我們借助自研網(wǎng)絡(luò)適應(yīng)性強(qiáng)化學(xué)習(xí)模型，實時準(zhǔn)確預(yù)測網(wǎng)絡(luò)帶寬;同時作為編解碼的輸入，降低弱網(wǎng)條件下JitBuff引入時延。
對于網(wǎng)絡(luò)傳輸而言，轉(zhuǎn)發(fā)模型必選，這就意味著MCU不可用，MCU必須轉(zhuǎn)變?yōu)閃ebRTC。我們借助SFU純轉(zhuǎn)發(fā)模型降低網(wǎng)路節(jié)點處理時延;，并基于全網(wǎng)QoS信息智能選擇最優(yōu)傳輸路徑。
在網(wǎng)絡(luò)傳輸?shù)倪^程中我們使用智能優(yōu)化算法，借助強(qiáng)化學(xué)習(xí)傳輸模型可有效提升網(wǎng)絡(luò)帶寬精準(zhǔn)預(yù)估。上圖左側(cè)表示傳統(tǒng)帶寬預(yù)測算法，主要有以下弊端：模型固定、基于丟包與時延進(jìn)行相應(yīng)的響應(yīng)以及參數(shù)設(shè)置依賴經(jīng)驗值。所存在的問題就是實際帶寬和測試帶寬之間的比例，可以看到其丟包率特別高且收斂時長較長。我們與華為公司內(nèi)部專門負(fù)責(zé)網(wǎng)絡(luò)算法的團(tuán)隊一起研究，針對網(wǎng)絡(luò)上各種各樣的模型進(jìn)行了模擬、訓(xùn)練并強(qiáng)化學(xué)習(xí)，從而有效縮短收斂時間與降低丟包率。采用強(qiáng)化學(xué)習(xí)模型后，帶寬預(yù)測準(zhǔn)確度提升20%，帶寬調(diào)節(jié)收斂時間縮短1倍，帶寬下降期間丟包率最大從60%下降到10%以內(nèi)。這些數(shù)據(jù)可反映出強(qiáng)化學(xué)習(xí)模型的出色效果。
網(wǎng)絡(luò)優(yōu)化的最后一個部分實際上就是實時媒體精確導(dǎo)航。對于時變路由來說，通過一個集中化大腦控制下面所有節(jié)點以及數(shù)據(jù)流向，例如從Pop1到Pop4可能經(jīng)過Pop3來實現(xiàn)優(yōu)化。每30秒做一次重新路由的計算，基本做到每一通通話都會有一個自由路徑，在通信的過程中也能做到相應(yīng)的切換而不丟包。對于最優(yōu)接入來說，首先將地理位置、用戶歷史QoS以及歷史位置信息作為綜合判斷的依據(jù)，并將這些數(shù)據(jù)統(tǒng)一上報至中心節(jié)點，中心節(jié)點為用戶判斷其相應(yīng)位置。當(dāng)然，這里也有許多未來亟待優(yōu)化的關(guān)鍵點，如質(zhì)優(yōu)終端直連與POP點間的突發(fā)丟包——目前我們也觀察到，在整體丟包過程中，突發(fā)丟包會在15秒以內(nèi)造成90%以上的丟包，這其實對于媒體的精確導(dǎo)航來說無法實現(xiàn)動態(tài)切換，所以為解決這種突發(fā)丟包我們未來還有許多工作要去做。
2.4 互聯(lián)互通
互聯(lián)互通是華為非常擅長的領(lǐng)域，實際上就是建立一個統(tǒng)一的互聯(lián)互通大網(wǎng)，其中涉及到運(yùn)營商與所建立的RTC網(wǎng)絡(luò)之間的互通以及PSTN的轉(zhuǎn)換等。運(yùn)營商PSTN和私有賬號體系之間如何建立轉(zhuǎn)換關(guān)系，每一個解決方案都有所不同，這里最重要的就是建立資源號碼的映射關(guān)系。
3. RTC的未來
接下來我將與大家分享我對于RTC的未來的一些思考。
最近5G技術(shù)成為大家熱烈討論的重點，大家也熱切希望5G能夠給整個RTC產(chǎn)業(yè)以及整個直播行業(yè)帶來革新，可實際上這并非大家理想的這么完美。
5G系里面的許多方案實際上也是分階段推進(jìn)的，包括SA和NSA階段的部署�，F(xiàn)階段在國內(nèi)以及海外部署的所有方案都處于NSA階段。NSA階段實際上就是把無線側(cè)的空口技術(shù)完全換成5G接入，但實際上核心網(wǎng)側(cè)以及內(nèi)部網(wǎng)絡(luò)連接側(cè)都沒有發(fā)生變化。對于整個網(wǎng)絡(luò)來說，這并不能完全做到5G宣稱的低延時大帶寬。除此之外，如上圖中三大業(yè)務(wù)場景指標(biāo)需求對比所展現(xiàn)的那樣，5G下又細(xì)分了三個場景：eMBB、mMTC和uRLLC。其中eMBB就是我們所說的大帶寬，大多數(shù)消費(fèi)者所使用的互聯(lián)網(wǎng)訪問就是基于這種場景，此場景在運(yùn)營商端主要依賴于廣泛部署而不是熱點部署;mMTC和uRLLC實際上是基于熱點部署。大家一聽到5G就說5G會給我們帶來低時延和大帶寬，而eMBB相對于4G雖能降低一些時延但遠(yuǎn)稱不上是顯著降低，若想顯著降低時延則有賴于uRLLC，可uRLLC又是基于熱點部署，只能被用于一些特定企業(yè)或?qū)I(yè)場景。所以大家需要清晰地意識到RTC與5G的新時代，挑戰(zhàn)與機(jī)遇并存。
之前我們提到NSA階段下部署的5G實際上只進(jìn)行了無線側(cè)的覆蓋與提升。接入側(cè)的時延和遠(yuǎn)距離傳輸所造成的時延問題其實并沒有被完全解決。我們期待運(yùn)營商能夠在未來2~3年內(nèi)解決該命題。
對于RTC來說，挑戰(zhàn)依舊嚴(yán)峻。當(dāng)人們討論5G時永遠(yuǎn)不會繞過的話題就是5G+VR/AR，而實際上人們提到的只是空口和傳輸時延的降低。如果串聯(lián)起端到端的整個傳輸與處理鏈路就會發(fā)現(xiàn)，編解碼所占時間占到整個端到端時延的50%以上，從編解碼層面入手降低時延至關(guān)重要。
5G時代，大算力場景層出不窮，在此場景下手機(jī)性能顯然無法滿足大算力需求，所以其網(wǎng)絡(luò)模型也會相應(yīng)發(fā)生變化。有時鑒于手機(jī)能耗與電源管理的需要，一些正常的計算可能會被傳輸至云端邊緣來處理，這樣就形成了一個邊緣與端側(cè)聯(lián)動的關(guān)系。這就會造成5G的邊緣側(cè)流量顯著增大，隨之我們的整個設(shè)計模型也會發(fā)生一定變化，這也是未來我們需要從架構(gòu)和解決方案角度考慮的事情。
看過《星球大戰(zhàn)》的同學(xué)一定不會對里面的全息投影感到陌生，可以說全息投影是我們追求的終極理想，但實際上這項技術(shù)距離顯示還非常遙遠(yuǎn)。也許有人會說在一些舞臺表演上已經(jīng)看見過類似全息投影的應(yīng)用，實際上這并非真正的全息投影，而是一種被稱為“佩珀爾幻象”的視覺效果。其有自己的限制條件，如四周的黑幕、使用場景非常受限等。若想實現(xiàn)理想中的所謂全息通信，顯示介質(zhì)和輔助自由視角通行交互至關(guān)重要。我們不能單純地在采集端僅收集一段圖像并傳遞到觀看者端，而應(yīng)該傳遞一個模型。例如采集一張面孔，正常圖像由邊緣側(cè)進(jìn)行計算之后會驅(qū)動網(wǎng)絡(luò)上的模型，驅(qū)動所形成的模型會被傳輸至對端，此時觀看者視角決定對端的形象呈現(xiàn)，且存在兩種思路：
- 專用終端+直接模型矢量傳遞:深度攝像頭、模型矢量傳遞、模型渲染。主要在端實現(xiàn):計算、功耗問題要解決。
- 普通終端/眼鏡視頻采集+網(wǎng)絡(luò)側(cè)分析轉(zhuǎn)換:模型匹配、視頻->模型驅(qū)動、位姿數(shù)據(jù)驅(qū)動觀看視角、FoV。對媒體訴求:超低時延轉(zhuǎn)換+傳遞+邊緣計算
這兩種方案誰更甚一籌，還是個未知數(shù)。
4. 華為云·視頻通話未來的方向
4.1 在線直播
對于在線教育場景來說，可達(dá)性、時延、卡頓率、穩(wěn)定性與易用性是決定實時視頻業(yè)務(wù)體驗成敗的關(guān)鍵指標(biāo)。
4.2 在線教育
在線直播中的互動性、適應(yīng)性與易用性至關(guān)重要。視頻通話端到端時延<300ms才能供主播與觀眾間進(jìn)行互動。而從480P到1080P的多種分辨率也需要適配多種終端;極端網(wǎng)絡(luò)自適應(yīng)，使得用戶在復(fù)雜移動網(wǎng)絡(luò)環(huán)境中仍能夠享受穩(wěn)定可靠的通話體驗;用戶友好——不挑網(wǎng)絡(luò)，體驗穩(wěn)定可靠與開發(fā)友好——高效集成，快速獲取能力同樣是值得關(guān)注的方面
4.3 智能硬件
滿足兩千萬以上規(guī)模的智能硬件接入，可靠的技術(shù)保障不可或缺。
視頻通話做為互聯(lián)網(wǎng)上通信的基礎(chǔ)通信能力，將會像空氣一樣， 時刻圍繞在你身邊，與各種線上業(yè)務(wù)結(jié)合，幫助商業(yè)合作伙伴線上服務(wù)的方式的創(chuàng)新、服務(wù)質(zhì)量的躍遷和服務(wù)體驗的提升。實現(xiàn)更多服務(wù)觸點，滿足用戶全場景需求，挖掘潛在商業(yè)機(jī)會。
這是一個很大的市場，華為云.視頻通話，有技術(shù)、有服務(wù)、有體驗。希望與合作伙伴一道顛覆線上服務(wù)體驗，幫助其實現(xiàn)商業(yè)價值規(guī)模裂變。
