12月18日，由中國(guó)信息通信研究院、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)、北京市大數(shù)據(jù)中心聯(lián)合主辦的“2020數(shù)據(jù)資產(chǎn)管理大會(huì)”在北京拉開帷幕，會(huì)上信通院為通過大數(shù)據(jù)、數(shù)據(jù)庫(kù)等能力評(píng)測(cè)的產(chǎn)品頒發(fā)證書。華為云GaussDB（DWS）數(shù)據(jù)倉(cāng)庫(kù)以單集群2048節(jié)點(diǎn)的超大規(guī)模，滿分通過測(cè)試認(rèn)證，是迄今為止信通院認(rèn)證的最大規(guī)模分布式數(shù)據(jù)庫(kù)集群，刷新了歷史紀(jì)錄，樹立了業(yè)界新標(biāo)桿。
華為云GaussDB（DWS）為各企業(yè)用戶提供最佳性能、按需擴(kuò)展、穩(wěn)定可靠的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，滿足客戶超大規(guī)模數(shù)據(jù)的高性能查詢分析訴求。在本次大規(guī)模集群測(cè)試評(píng)估中，華為云GaussDB（DWS）一次性通過50項(xiàng)測(cè)試用例，包括27項(xiàng)必選用例和23項(xiàng)可選用例，交出了完美的答卷。
大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)集群不僅僅是將眾多服務(wù)器“攢”起來，更需要解決大并發(fā)復(fù)雜查詢下的通信連接風(fēng)暴問題。并且在數(shù)千節(jié)點(diǎn)的集群中，平均每天都會(huì)有硬件故障發(fā)生，如何應(yīng)對(duì)“硬件不可靠”帶來的問題？如何在硬件亞健康情況下數(shù)據(jù)倉(cāng)仍能提供穩(wěn)定的性能，如何在操作系統(tǒng)“軟死”情況下數(shù)據(jù)倉(cāng)庫(kù)不出現(xiàn)卡頓、無(wú)響應(yīng)等問題，是技術(shù)面臨的極大挑戰(zhàn)。在2048節(jié)點(diǎn)大規(guī)模集群認(rèn)證的背后，是GaussDB（DWS）強(qiáng)大“硬核科技”的表現(xiàn)。
一、 Multi-Streams多流通信技術(shù)
在2048節(jié)點(diǎn)規(guī)模下，集群進(jìn)行全并行數(shù)據(jù)交換時(shí)，集群內(nèi)可達(dá)百億級(jí)的并行連接，出現(xiàn)通信連接風(fēng)暴，已遠(yuǎn)遠(yuǎn)超出TCP連接端口號(hào)和socket文件句柄上限。
GaussDB（DWS）自研的Multi-Streams多流通信技術(shù)，將連接數(shù)提升5個(gè)數(shù)量級(jí)，突破物理機(jī)TCP連接端口限制，能夠支持集群內(nèi)百億級(jí)通信連接，并且理論支持節(jié)點(diǎn)數(shù)無(wú)上限。
Multi-Streams多流通信采用邏輯連接技術(shù)，避免了TCP物理連接的三次握手的機(jī)制，單數(shù)據(jù)節(jié)點(diǎn)建連性能達(dá)到100萬(wàn)次/s，提升20倍。
該技術(shù)基于全異步無(wú)阻塞代理通信架構(gòu)，支持跨邏輯連接的socket合并，將網(wǎng)絡(luò)吞吐能力提升3倍。
二、 高可用設(shè)計(jì)及集群管理技術(shù)
GaussDB（DWS）設(shè)計(jì)之初，充分考慮高可用性，其具備多層級(jí)高可用及容災(zāi)能力，在進(jìn)程級(jí)、節(jié)點(diǎn)級(jí)、集群級(jí)出現(xiàn)軟硬件異常的情況下具備平滑處理能力。
在棘手的硬件亞健康、“軟死”問題上，GaussDB（DWS）具備完善的智能檢測(cè)和處理機(jī)制，能夠?qū)崟r(shí)監(jiān)測(cè)任意節(jié)點(diǎn)狀態(tài)，包括服務(wù)器亞健康狀態(tài)、磁盤慢盤、靜默損壞等等場(chǎng)景，通過自動(dòng)感知、剔除、平滑切換等高可用策略，提高業(yè)務(wù)的連續(xù)性。
并且，在物理組件發(fā)生故障的情況下，Server端Multi-Retries技術(shù)能夠大幅減少故障失敗的業(yè)務(wù)感知，保障業(yè)務(wù)持續(xù)運(yùn)行。
在集群管理上，針對(duì)超大節(jié)點(diǎn)數(shù)場(chǎng)景，通過邏輯重構(gòu)，實(shí)現(xiàn)集群起停的全并行處理，2048節(jié)點(diǎn)規(guī)模下具備分鐘級(jí)起停能力。
三、 大規(guī)模場(chǎng)景下的并行數(shù)據(jù)備份恢復(fù)技術(shù)
- 完全在線：數(shù)據(jù)備份期間，采用全程無(wú)加鎖技術(shù)，任何業(yè)務(wù)SQL、包括DDL均不受影響
- 多層級(jí)并行極速備份：每節(jié)點(diǎn)獨(dú)立多并發(fā)、多通道備份，提供10PB級(jí)數(shù)據(jù)快速備份恢復(fù)性能
- 全局一致性快照：集群級(jí)全局一致性快照，數(shù)據(jù)強(qiáng)一致性保證
- 細(xì)粒度數(shù)據(jù)恢復(fù)：支持多粒度數(shù)據(jù)恢復(fù)，滿足客戶誤刪、個(gè)別表?yè)p壞等緊急恢復(fù)需求。
得益于包括以上三點(diǎn)在內(nèi)的一系列核心技術(shù)，華為云GaussDB（DWS）一舉通過信通院2048節(jié)點(diǎn)大規(guī)模分布式分析型數(shù)據(jù)庫(kù)評(píng)測(cè)，成為國(guó)內(nèi)首個(gè)單集群突破兩千的商用數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品。
華為云GaussDB（DWS）數(shù)據(jù)倉(cāng)庫(kù)已廣泛應(yīng)用于金融、政府、運(yùn)營(yíng)商、交通、物流、互聯(lián)網(wǎng)等領(lǐng)域，服務(wù)于全球1000+客戶。GaussDB（DWS）踐行"平臺(tái)+生態(tài)"戰(zhàn)略，聯(lián)合500+合作伙伴，為各行業(yè)提供競(jìng)爭(zhēng)力的數(shù)據(jù)倉(cāng)庫(kù)解決方案。
