張修路：當(dāng)我們在進(jìn)行該系統(tǒng)設(shè)計(jì)的時(shí)候，我剛剛接觸這個(gè)團(tuán)隊(duì)，然后我發(fā)現(xiàn)我的大多數(shù)同事對系統(tǒng)架構(gòu)設(shè)計(jì)理解不是特別地到位。比如說，他們會將每一個(gè)服務(wù)，或者每一個(gè)小功能設(shè)計(jì)成一個(gè)獨(dú)立的部署單元，導(dǎo)致多層次的設(shè)計(jì)。我們的目的在于設(shè)計(jì)一個(gè)大容量、高并發(fā)、高可靠的系統(tǒng)，為了實(shí)現(xiàn)高并發(fā)，每個(gè)系統(tǒng)都要部署一個(gè)機(jī)群，會導(dǎo)致每個(gè)獨(dú)立的功能在尋找另外一個(gè)業(yè)務(wù)的時(shí)候總要檢測它的可靠性，這種模式會帶來了整個(gè)運(yùn)營成本的提升，而且可靠性難以被提高，任何一個(gè)部件出現(xiàn)故障，都會導(dǎo)致整個(gè)系統(tǒng)的切換。后來，我們和同事一起分析，將整個(gè)系統(tǒng)盡可能做扁平化的設(shè)計(jì)，并且我們也成功做到將業(yè)務(wù)與數(shù)據(jù)相分離，以及業(yè)務(wù)和前端的接入相分離，整個(gè)系統(tǒng)一般會通過兩層，第一層首先進(jìn)來的是客戶的業(yè)務(wù)請求，通過LVS或者Nginx之后，做業(yè)務(wù)分發(fā)，在業(yè)務(wù)分發(fā)了之后，做到主備或者機(jī)群，而且它可以做到主備一旦出現(xiàn)問題能夠快速地切換，節(jié)點(diǎn)自身的容量也非常大，后面也會出現(xiàn)更多的對等機(jī)群。這些機(jī)群，因?yàn)闃I(yè)務(wù)之間完全對等，因此任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障便能夠在很短的時(shí)間之內(nèi)切換到另外一個(gè)節(jié)點(diǎn)，為了更好地保證業(yè)務(wù)的連續(xù)性，我們把該業(yè)務(wù)和該數(shù)據(jù)邏輯相分離，且將業(yè)務(wù)內(nèi)存緩沖在類似redis這樣的內(nèi)存數(shù)據(jù)庫中，將持久化的數(shù)據(jù)放入主持人MySQL的數(shù)據(jù)庫集群，將數(shù)據(jù)扁平化。簡而言之，將業(yè)務(wù)和數(shù)據(jù)分離，能夠較好地做到扁平化，并保證其出現(xiàn)故障的第一時(shí)間能夠很好地做切換。

　　張修路：好，關(guān)于呼叫中心，第一，我們要做到信令和媒體分離，因?yàn)槿绻�我要真正做到完全分布，信令在那種情況下并不容易切換，并且信令在整個(gè)媒體的處理過程中所占流量比例非常��；第二，整個(gè)信令在接入過程中，它對網(wǎng)絡(luò)的抖動實(shí)驗(yàn)的敏感度便降低，因此可以將信令做集中部署。比如說我們部署在北京，同時(shí)在深圳作為異地的載備節(jié)點(diǎn)，我們會把媒體進(jìn)行分布式處理，目前我們在北京、上海、廣州、深圳等幾個(gè)節(jié)點(diǎn)進(jìn)行部署，而用戶則通過分布式接入的方式載到系統(tǒng)內(nèi)。如果要想部署一個(gè)真正的分布式系統(tǒng)，首先需要考慮客戶如何切換，我們是通過信令來引導(dǎo)媒體地切換，比如說，當(dāng)一個(gè)用戶注冊的時(shí)候，他會通過DNS查詢，注冊到北京的服務(wù)器，北京的服務(wù)器收到請求之后，根據(jù)該用戶所處地理位置和他所在的運(yùn)營商選擇一個(gè)較好的媒體接入節(jié)點(diǎn)，將它引入到就近的媒體節(jié)點(diǎn)，通過呼叫中心的信令協(xié)商，就可較好地完成整個(gè)分布式的部署，即使某個(gè)節(jié)點(diǎn)出現(xiàn)故障，也可較快進(jìn)行切換。假設(shè)現(xiàn)在在深圳有20個(gè)節(jié)點(diǎn)，如果其中一個(gè)節(jié)點(diǎn)出現(xiàn)了故障，那么我可以在幾秒，甚至更短的時(shí)間之內(nèi)切換到另外一個(gè)健康的節(jié)點(diǎn)，既使整個(gè)深圳市的機(jī)房出現(xiàn)了故障，我也可以通過信令來引導(dǎo)，把它切換到北京或者上海的機(jī)房；當(dāng)信令節(jié)點(diǎn)出現(xiàn)故障或者機(jī)房內(nèi)的故障，我們可以做到自動切換；如果是整個(gè)機(jī)房出現(xiàn)了比較重大的南北互通問題，我們就可以把整個(gè)信令通過DNS引導(dǎo)把它切換到深圳。為了更好地保證業(yè)務(wù)的連續(xù)性，減少實(shí)驗(yàn)抖動，我們所有的業(yè)務(wù)系統(tǒng)和所有的分布式節(jié)點(diǎn)都會通過專線來連接。

　　張修路：傳統(tǒng)的呼叫中心往往都是以整個(gè)設(shè)備運(yùn)營商為主導(dǎo)，整個(gè)設(shè)備的提供商也是些電信設(shè)備提供商，類似于華為的IPCC，這樣整個(gè)傳統(tǒng)的呼叫中心，它不僅需要客戶購買一整套（呼叫中心）硬件設(shè)備，還需要客戶自己部署和二次開發(fā)，因此整個(gè)系統(tǒng)部署周期和上線周期十分漫長，一般時(shí)長為三至六個(gè)月，而一些較大的呼叫中心僅在籌備期都需要三至六個(gè)月，那么整個(gè)系統(tǒng)建設(shè)和業(yè)務(wù)完整的提升將近一年時(shí)間。云呼叫中心，結(jié)合最近幾年云計(jì)算的發(fā)展，我們將一些系統(tǒng)分布式部署于云上，就像我們提供北京、上海、沈陽、深圳、廣州的一些節(jié)點(diǎn)，它們被分布在呼叫中心，那么客戶便不再需要購買完整的硬件設(shè)備，而是直接安裝其客戶端，甚至可以通過網(wǎng)頁直接使用服務(wù)。它的一個(gè)強(qiáng)大優(yōu)點(diǎn)在于（中小型客戶）不需要像過去一樣建立一個(gè)只可做基本業(yè)務(wù)的小呼叫中心，而可以通過云呼叫中心進(jìn)行。其主要優(yōu)點(diǎn)有兩個(gè)，第一，不需要購買硬件，業(yè)務(wù)可快速上線，客戶可以在更短的時(shí)間，甚至一至兩周內(nèi)便把業(yè)務(wù)上線；第二，即使不購買硬件設(shè)備，也可提供一個(gè)較完整的業(yè)務(wù)，換言之，盡管他的業(yè)務(wù)代表只有幾十個(gè)，但他仍可以使用一個(gè)大型的完整呼叫中心，因?yàn)樗�具有較好的可靠性，過去當(dāng)你買了硬件設(shè)備之后，他們會派專門的運(yùn)維工程師對整個(gè)系統(tǒng)進(jìn)行運(yùn)行和維護(hù)，但小的公司很難有非常高水平的運(yùn)維人員，它的業(yè)務(wù)自然連續(xù)性便會受到影響，而我們會有非常專業(yè)的團(tuán)隊(duì)來保障業(yè)務(wù)可以真正做到每周7天每天24的運(yùn)行時(shí)間，即使出現(xiàn)故障，我們也可以做到在多個(gè)分支的節(jié)點(diǎn)進(jìn)行切換，而小公司卻不太可能部署此種系統(tǒng)。

　　張修路：我們的系統(tǒng)去部署一個(gè)較大的系統(tǒng)確實(shí)會帶來一個(gè)處理很高的并發(fā)，比如說我們的系統(tǒng)設(shè)計(jì)要做到一百萬的并發(fā)，首先要做到高并發(fā)、高可靠。第一，在地域上需要做到分布式，那么在每一個(gè)機(jī)房里面需要多個(gè)對等的節(jié)點(diǎn)，一旦某個(gè)節(jié)點(diǎn)出現(xiàn)故障便可自動切換，當(dāng)多個(gè)節(jié)點(diǎn)不斷堆疊的時(shí)候，便可達(dá)到高并發(fā)要求，但前提是系統(tǒng)架構(gòu)要能夠支持平滑、橫向的擴(kuò)容；而橫向的擴(kuò)容前提是，前面需有一個(gè)接入。其中有著專門做接入的設(shè)備，目前我們前端通過Opensips或者Nginx做接入，它可以支持幾十萬，甚至上百萬的并發(fā)，那么在多個(gè)對等的媒體節(jié)點(diǎn)之后出現(xiàn)故障也可進(jìn)行切換。如果要想真正做到高可靠、高并發(fā)，低成本的系統(tǒng)，不能采用過去較多使用的同步編程，當(dāng)一個(gè)用戶的請求過來，，即采用且用專門的線程來處理該請求，但該過程偶爾會出現(xiàn)等待狀態(tài)，造成阻塞，一旦形成阻塞，若要想服務(wù)一萬個(gè)用戶便需要提供一萬個(gè)線程，導(dǎo)致既使沒有業(yè)務(wù)進(jìn)來，這一萬個(gè)線程之間的相互切換也會帶來超大負(fù)荷。那么如何解決這個(gè)問題？我們采用異步編程，比如說異步Servlet、異步Httpclient，或者是J張修路v張修路、C語言，利用各種各樣的異步技術(shù)保證其高并發(fā)性。通過異步技術(shù)實(shí)現(xiàn)用一個(gè)線程處理幾百個(gè)、甚至上千個(gè)連接，即使整個(gè)系統(tǒng)只有十幾個(gè)或者二十幾個(gè)線程也可處理幾萬的并發(fā)。

　　張修路：剛才我們所講述的異步編程涉及更多的是一個(gè)完整的業(yè)務(wù)連接，而異步編程也可能體現(xiàn)在具體的模塊之中。在具體的模塊之中，我們也會要求同事熟悉異步的編程模型，因?yàn)榇蠖鄶?shù)同事之前用的是傳統(tǒng)的Servlet技術(shù)或者傳統(tǒng)的請求，比如說當(dāng)它發(fā)送請求之后，對方可能需要三秒鐘才會響應(yīng)，這個(gè)時(shí)間它不得不進(jìn)入等待狀態(tài)或者進(jìn)入Sleep狀態(tài)，但現(xiàn)在我們讓同事熟悉異步的編程模型，比如C語言，以及異步的編程架構(gòu)，比如C語言的libevent、libev這樣的架構(gòu)，Java語言的VERT。X、netty等其它的NIO技術(shù)，通過第三方的模型對它進(jìn)行再重裝，即不斷地教他如何做到一個(gè)線程同時(shí)處理幾百個(gè)或者上千個(gè)請求。在此過程中，不在于技術(shù)有多么難，而是一種觀念的挑戰(zhàn)，讓他熟悉，并且真正能夠接受異步編程，一旦我們的同事熟悉、接觸異步編程，并且看到它帶給整個(gè)系統(tǒng)的好處，就更為容易達(dá)到目的。整個(gè)系統(tǒng)逐步地架構(gòu)升級就采用異步編程，既真正地實(shí)現(xiàn)高并發(fā)，在出現(xiàn)問題又能自動切換，實(shí)現(xiàn)高可靠。

　　張修路：在去年年底加入云之訊之后，我主要負(fù)責(zé)語音業(yè)務(wù)，尤其是云呼叫中心的技術(shù)架構(gòu)發(fā)展，同時(shí)也要整合公司的所有業(yè)務(wù)。我們公司目前提供語音、短信、即時(shí)通訊、流量等，且現(xiàn)在較多客戶需要一套完整的解決方案。比如說我需要給客戶打電話，但客戶沒有接聽電話，或者接聽了之后，對于信息的獲取、了解不是那么深入，這該怎么辦？我們會再給他發(fā)個(gè)短信，這樣就把短信系統(tǒng)整合進(jìn)來�，F(xiàn)在有些人，他更喜歡使用語音的電話服務(wù)，但另一些人更愿意使用即時(shí)消息，所以我們也提供了一個(gè)即時(shí)消息的解決方案，同時(shí)如果客戶使用我們服務(wù)的時(shí)候消耗了流量，我們也可以通過贈送流量的方式提供，相當(dāng)于我們?yōu)槲覀兊目蛻籼峁┮粋�(gè)完整的解決方案，包括語音、短信、即時(shí)消息，以及流量，一體化和一站式的解決方案。

　　InfoQ：非常感謝您今天接受我們的采訪。

　　張修路，2002年哈爾濱工業(yè)大學(xué)研究生畢業(yè)加入華為公司，工作至2014年，任高級工程師，先后負(fù)責(zé)多個(gè)產(chǎn)品的系統(tǒng)設(shè)計(jì)。加入云之訊后，負(fù)責(zé)IPCC的研發(fā)與系統(tǒng)設(shè)計(jì)工作。有豐富的電信級產(chǎn)品系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，熟悉大容量、高并發(fā)和高可靠要求的產(chǎn)品設(shè)計(jì)。

　　QCon是由InfoQ主辦的全球頂級技術(shù)盛會，每年在倫敦、北京、東京、紐約、圣保羅、杭州、舊金山召開。自2007年3月份首次舉辦以來，已經(jīng)有包括傳統(tǒng)制造、金融、電信、互聯(lián)網(wǎng)、航空航天等領(lǐng)域的近萬名架構(gòu)師、項(xiàng)目經(jīng)理、團(tuán)隊(duì)領(lǐng)導(dǎo)者和高級開發(fā)人員參加過QCon大會。