戴爾科技的AI服務(wù)器業(yè)務(wù)增長是整個(gè)基礎(chǔ)設(shè)施市場最新變化的一個(gè)縮影。去年以來企業(yè)對(duì)人工智能應(yīng)用的熱情不斷高漲，ChatGPT、Sora的先后爆火更是為人工智能熱火上加油，帶動(dòng)了對(duì)AI基礎(chǔ)設(shè)施的強(qiáng)勁需求。為了滿足這些需求，以戴爾科技為代表的基礎(chǔ)設(shè)施廠商推出了不少創(chuàng)新的產(chǎn)品和技術(shù)來幫助企業(yè)擁抱AI。
AI應(yīng)用普及推動(dòng)基礎(chǔ)設(shè)施升級(jí)
在過去的幾年里，AI應(yīng)用場景越來越豐富，智能化水平不斷提升。一個(gè)明顯的變化是，從過去集中在以圖像識(shí)別、視頻分析為主的感知智能逐漸擴(kuò)展到以ChatGPT為代表的認(rèn)知智能，文檔檢索、文檔生成成為了新的主流應(yīng)用場景，同時(shí)，以Sora為代表的多模態(tài)AI技術(shù)也開始方興未艾。
蓬勃發(fā)展的生成式AI應(yīng)用背后離不開底層基礎(chǔ)設(shè)施的支持。以大模型的訓(xùn)練和推理為例。大模型的參數(shù)量已經(jīng)從數(shù)十億增加到幾百億、幾萬億甚至更高，更大的模型帶來了更大的AI算力需求。有數(shù)據(jù)顯示，AI所消耗的算力平均每3～4個(gè)月就會(huì)增長一倍，而這部分增長的算力需求大部分將被GPU承擔(dān)，這直接帶動(dòng)了異構(gòu)計(jì)算的普及。
另一方面，計(jì)算規(guī)模越來越大，越來越多地通過集群來承載，萬卡、十萬卡GPU規(guī)模的數(shù)據(jù)中心也不鮮見。與計(jì)算規(guī)模擴(kuò)大同時(shí)增加的還有網(wǎng)絡(luò)通訊需求，讓高帶寬、低延遲網(wǎng)絡(luò)交換設(shè)施成為AI系統(tǒng)的必要組成部分。
與此同時(shí)，新興的AI應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的要求也被提高了。功能更強(qiáng)、規(guī)模更大的算法模型需要搭配數(shù)量更多、質(zhì)量更高、要更加多元化的訓(xùn)練數(shù)據(jù)才可能達(dá)到預(yù)期效果，否則很容易因訓(xùn)練數(shù)據(jù)不足造成模型欠擬合，而這意味著存儲(chǔ)系統(tǒng)性能更高、更穩(wěn)定，同時(shí)成本更低。
市場的需求基礎(chǔ)設(shè)施廠商都看到了，以戴爾科技為代表的很多基礎(chǔ)設(shè)施廠商也推出了大量創(chuàng)新的產(chǎn)品和技術(shù)。
多元化AI計(jì)算平臺(tái)，加速智能躍遷
眾所周知，傳統(tǒng)數(shù)據(jù)中心的典型架構(gòu)是以CPU為中心，而今天在大模型訓(xùn)練和推理需求的推動(dòng)，CPU+GPU為代表的異構(gòu)計(jì)算正在成為主流，GPU成為越來越多服務(wù)器的標(biāo)準(zhǔn)配置。順應(yīng)市場的最新需求，戴爾科技推出了多款PowerEdge服務(wù)器，它們專門針對(duì)GPU計(jì)算設(shè)計(jì)和優(yōu)化，能支持英特爾等不同品牌的GPU加速卡，可滿足不同應(yīng)用場景的需求。
“圍繞AI 應(yīng)用的GPU加速，戴爾科技能提供像GPU池化、GPU分布式訓(xùn)練、GPU集群管理和資源調(diào)度、邊緣AI計(jì)算等GPU加速計(jì)算解決方案。”戴爾科技集團(tuán)信息基礎(chǔ)架構(gòu)解決方案事業(yè)部企業(yè)技術(shù)架構(gòu)師、全球CTO大使吳躍表示。
他介紹，PowerEdge 服務(wù)器設(shè)計(jì)中有很多針對(duì)GPU的專門設(shè)計(jì)。比如，多矢量散熱技術(shù)的應(yīng)用可以保證均勻冷卻服務(wù)器各部件；電源增強(qiáng)設(shè)計(jì)（即瞬時(shí)功率）可以達(dá)到電源標(biāo)稱功率的1.4到1.7倍，以應(yīng)對(duì)GPU開機(jī)過程中的啟動(dòng)風(fēng)暴。這些設(shè)計(jì)都是為了確保GPU在服務(wù)器內(nèi)達(dá)到最佳運(yùn)行狀態(tài)。
在AI的公開基準(zhǔn)測試中戴爾科技PowerEdge表現(xiàn)優(yōu)異。MLPerf是當(dāng)前AI領(lǐng)域關(guān)注度和參與度最高的計(jì)算性能基準(zhǔn)測試，在去年9月份發(fā)布的MLPerf Inference V3.1的推理基準(zhǔn)測試中，共有26個(gè)廠商提交了超過13500條的測試記錄。在20個(gè)數(shù)據(jù)中心項(xiàng)目賽道中戴爾科技取得了7個(gè)項(xiàng)目的第一名，另外4個(gè)項(xiàng)目的第二名。在所有參與評(píng)測的GPU服務(wù)器產(chǎn)品中取得最好的綜合成績。
除了多款GPU服務(wù)器外，戴爾科技推出的搭載英特爾Xeon Max處理器的PowerEdge服務(wù)器也值得一提。目前戴爾科技有三款服務(wù)器可以支持Xeon Max處理器，包括2U 兩路的計(jì)算平臺(tái)PowerEdge R760、1U 兩路的計(jì)算平臺(tái)PowerEdge R660以及2U 4節(jié)點(diǎn)PowerEdge C6620。
Xeon Max處理器是英特爾推出的業(yè)內(nèi)首款集成HBM的x86 CPU，其中集成了64GB的HBM，內(nèi)存帶寬可達(dá)到1TB/s，無需GPU加速卡就可實(shí)現(xiàn)內(nèi)存帶寬密集型應(yīng)用的加速，如模型推理與模型微調(diào)等。
相關(guān)測試表明，單個(gè)Xeon Max處理器即可完成60億、130億規(guī)模的大語言模型的加載和應(yīng)用；對(duì)于對(duì)話式AI的場景，會(huì)話首個(gè)token生成延遲小于3秒鐘，下一個(gè)token生成延遲小于100毫秒。而且，由于所有主流AI框架與加速庫都支持x86計(jì)算，在CPU上運(yùn)行AI模型可以減少代碼改動(dòng)量，大大簡化了AI應(yīng)用的開發(fā)和部署。
吳躍介紹，為了持續(xù)引領(lǐng)AI基礎(chǔ)設(shè)施技術(shù)創(chuàng)新，加速AI應(yīng)用的落地，戴爾科技還成立了AI HPC創(chuàng)新實(shí)驗(yàn)室，專門從事AI計(jì)算、并行計(jì)算的前沿技術(shù)研究、效能的基準(zhǔn)測試等相關(guān)工作。超級(jí)計(jì)算機(jī)Ratter就是戴爾科技AI&HPC創(chuàng)新實(shí)驗(yàn)室打造的GPU超算集群。戴爾科技很多AI以及使用GPU加速的HPC解決方案(如CAE、分子動(dòng)力學(xué)、生命科學(xué)等)也是在Ratter集群上首先進(jìn)行測試和優(yōu)化的。
從邊到端，讓AI算力無處不在
實(shí)際上，基礎(chǔ)設(shè)施相關(guān)的技術(shù)創(chuàng)新不只是發(fā)生在計(jì)算領(lǐng)域，也發(fā)生在存儲(chǔ)和網(wǎng)絡(luò)領(lǐng)域，同時(shí)，也不只是在云端和數(shù)據(jù)中心，還發(fā)生在端側(cè)，并正在醞釀一場從云到端、全面的升級(jí)。
比如，為了減少數(shù)據(jù)傳輸?shù)难舆t，戴爾科技PowerScale今年新增了Multipath Client driver（多通道客戶端驅(qū)動(dòng)程序），借此單個(gè)客戶端就可以能實(shí)現(xiàn)40GB/s的峰值帶寬，可為高密度的GPU算力服務(wù)器提供充沛的后端存儲(chǔ)性能；OneFS是戴爾科技自研的文件系統(tǒng)，全閃PowerScale搭配OneFS 9.7文件系統(tǒng)，存儲(chǔ)的流式讀性能是上一代平臺(tái)的兩倍，流式的寫性能是上一代平臺(tái)的2.2倍，可以有效提高GPU在模型預(yù)訓(xùn)練和微調(diào)階段的工作效率。
當(dāng)然，在端側(cè)的創(chuàng)新同樣不少。從去年9月份英特爾推出AI PC概念以來，AI PC迅速被市場接受。IDC的預(yù)測，今年新增PC中一半以上將是AI PC；2027 年將進(jìn)一步提升至 84.6%。戴爾科技也全面擁抱AI PC，今年新發(fā)布的AI工作站Precision 7960單臺(tái)將支持4塊雙寬的GPU，最高配置4TB的內(nèi)存和152TB的本地存儲(chǔ)，為AI落地工作站提供強(qiáng)力支持。
談到AI在邊緣端的落地，英特爾不可不提。除了發(fā)力AI PC之外，英特爾還在其他方面持續(xù)優(yōu)化CPU面向AI應(yīng)用的性能，也為戴爾科技豐富自己的產(chǎn)品線提供更多選擇。比如，英特爾從第四代至強(qiáng)可擴(kuò)展處理器開始新增AMX加速器，無需GPU就可顯著提升AI推理和訓(xùn)練的性能。根據(jù)英特爾的資料，AMX對(duì)于INT8精度有8倍的性能提升，對(duì)BF16精度有16倍的性能提升。而且由于AMX內(nèi)置于CPU中，因而無需專門構(gòu)建解決方案。
另一方面，英特爾也聯(lián)手合作伙伴推出面向邊緣的AI解決方案參考設(shè)計(jì)。英特爾Edge AI Box 就是其中之一，AI-BOX在搭載英特爾酷睿處理器的單一計(jì)算盒內(nèi)集成了視頻解碼和分析功能，既可作為連接到 IP 攝像頭或網(wǎng)絡(luò)錄像機(jī) (NVR) 等視頻源的獨(dú)立設(shè)備，實(shí)時(shí)進(jìn)行邊緣視頻分析，也可以連接到網(wǎng)絡(luò)并充當(dāng)網(wǎng)絡(luò)上的獨(dú)立 AI 服務(wù)，按需運(yùn)行離線深度學(xué)習(xí)分析，部署非常方便。
“圍繞邊緣AI的落地和部署，英特爾聯(lián)合戴爾科技等合作伙伴共同打造了很多基于英特爾軟硬件棧的邊緣AI解決方案，以支持無處不在的AI應(yīng)用。”英特爾中國解決方案部AI架構(gòu)師俞巍表示。
實(shí)際上，除了英特爾外，戴爾科技還與很多廠商有合作，其中與ISV合作研發(fā)面向細(xì)分領(lǐng)域的解決方案就是一種重要的合作方式。
當(dāng)下，向量數(shù)據(jù)庫+大模型的RAG（檢索增加）非常熱門。因?yàn)镽AG既可以發(fā)揮大模型的語言生成能力，又可以借助向量數(shù)據(jù)庫解決大模型的幻覺問題，被認(rèn)為是一種非常有應(yīng)用前景的AI落地形式。達(dá)觀數(shù)據(jù)一家專注于智能文本處理技術(shù)的國家級(jí)專精特新“小巨人”企業(yè)，其智能知識(shí)管理系統(tǒng)在行業(yè)內(nèi)擁有不少用戶，現(xiàn)在戴爾科技就在和達(dá)觀數(shù)據(jù)合作，共同探索RAG技術(shù)與智能知識(shí)管理的融合解決方案。
另外，戴爾科技推出的經(jīng)過驗(yàn)證的各種參考設(shè)計(jì)（AI Validated Design Solution）以及配套的技術(shù)白皮書和效能的驗(yàn)證，其中就離不開各種合作伙伴的支持。
“隨著AI技術(shù)的迭代，AI場景與AI模型規(guī)模越發(fā)復(fù)雜，對(duì)AI算力與AI訓(xùn)練數(shù)據(jù)的需求也會(huì)更加地旺盛，AI基礎(chǔ)設(shè)施未來幾年將會(huì)持續(xù)成為全球IT投資的熱點(diǎn)之一。”吳躍表示，作為領(lǐng)先的基礎(chǔ)設(shè)施供應(yīng)商，戴爾科技會(huì)和合作伙伴一起積極擁抱AI，通過技術(shù)創(chuàng)新推動(dòng)基礎(chǔ)設(shè)施的升級(jí)，加入AI應(yīng)用的普及。
