北京時(shí)間4月10日，CNCF（云原生計(jì)算基金會(huì)）正式接納由華為云捐贈(zèng)的容器批量計(jì)算項(xiàng)目Volcano， 迎來(lái)CNCF首個(gè)容器批量計(jì)算項(xiàng)目。
項(xiàng)目的加入，將CNCF的云原生版圖進(jìn)一步擴(kuò)展至AI、大數(shù)據(jù)、基因等批量計(jì)算領(lǐng)域，為構(gòu)建“云原生批量計(jì)算平臺(tái)”奠定了基礎(chǔ)。
華為云CTO張宇昕表示：
“華為云多年來(lái)一直致力于云原生技術(shù)推廣，不僅在國(guó)內(nèi)最早推出了Kubernetes云原生容器技術(shù)的商業(yè)化產(chǎn)品云容器引擎CCE和云容器實(shí)例CCI，而且在開(kāi)源社區(qū)發(fā)起并領(lǐng)導(dǎo)了多個(gè)生態(tài)項(xiàng)目，幫助各行業(yè)更快地落地并實(shí)踐云原生技術(shù)。
是基于Kubernetes的云原生批量計(jì)算引擎，基于華為云在AI、大數(shù)據(jù)領(lǐng)域的深厚業(yè)務(wù)積累，補(bǔ)齊了Kubernetes在面向AI、大數(shù)據(jù)、高性能計(jì)算等批量計(jì)算任務(wù)調(diào)度、編排等場(chǎng)景下的短板，向下支持鯤鵬、昇騰、X86等多元算力，向上使能TensorFlow、Spark、華為MindSpore等主流行業(yè)計(jì)算框架，讓數(shù)據(jù)科學(xué)家和算法工程師充分享受到云原生技術(shù)所帶來(lái)的高效計(jì)算與極致體驗(yàn)。”
介紹
隨著Kubernetes的成熟，越來(lái)越多的企業(yè)把Kubernetes作為AI、大數(shù)據(jù)以及高性能批量計(jì)算的下一代基礎(chǔ)設(shè)施，得益于Kubernetes在應(yīng)用一致性、跨云遷移便利性、靈活任務(wù)調(diào)度等方面的優(yōu)勢(shì)，使得Kubernetes在大數(shù)據(jù)、AI、以及高性能批量計(jì)算領(lǐng)域快速得到廣泛應(yīng)用。
然而，Kubernetes作為普適的容器化解決方案，應(yīng)用到大數(shù)據(jù)、AI、高性能批量計(jì)算等專(zhuān)業(yè)領(lǐng)域時(shí)，仍與業(yè)務(wù)訴求存在一些差距，主要體現(xiàn)在：
- K8s的原生調(diào)度功能無(wú)法滿(mǎn)足計(jì)算要求
- K8s作業(yè)管理能力無(wú)法滿(mǎn)足AI訓(xùn)練的復(fù)雜訴求
- 數(shù)據(jù)管理方面，缺少計(jì)算側(cè)數(shù)據(jù)緩存能力，數(shù)據(jù)位置感知等功能
- 資源管理方面缺少分時(shí)共享，利用率低
- 硬件異構(gòu)能力弱
華為云容器團(tuán)隊(duì)針對(duì)以上問(wèn)題，推出高性能容器批量計(jì)算解決方案。
同時(shí)，為加快云原生技術(shù)在各行業(yè)的快速普及，于2019年將解決方案的核心引擎Volcano開(kāi)源，Volcano在調(diào)度、作業(yè)管理、數(shù)據(jù)管理、資源管理四個(gè)方面進(jìn)行了重點(diǎn)優(yōu)化。
- 增強(qiáng)了任務(wù)調(diào)度能力，如公平的調(diào)度（fair-share），組調(diào)度（gang-scheduling）
- 進(jìn)一步優(yōu)化了作業(yè)管理能力，如multiple pod template能力， 更靈活的error handling機(jī)制
- 增加計(jì)算側(cè)數(shù)據(jù)緩存，提升數(shù)據(jù)的傳輸與讀取效率
- 引入多維度的綜合評(píng)分機(jī)制，實(shí)現(xiàn)資源更高效的管理和分配
- 多元算力支持：支持x86、鯤鵬和昇騰等算力
生態(tài)合作
針對(duì)不同應(yīng)用場(chǎng)景，Volcano已與多個(gè)主流計(jì)算框架社區(qū)完成官方合作集成，包括Kubeflow、Spark、PaddlePaddle、Horovod （MPI）、Cromwell 、MindSpore等。
彌補(bǔ)了Kubernetes在AI場(chǎng)景下的不足，為飛槳分布式深度學(xué)習(xí)對(duì)接Kubernetes提供了更好支持，PaddlePaddle on Volcano方案顯著簡(jiǎn)化了飛槳推薦系統(tǒng)解決方案 ElasticCTR的部署落地，我們非常期待Kubernetes+Volcano+PaddlePaddle的整套開(kāi)源部署方案更加成熟完善，給AI開(kāi)發(fā)者帶來(lái)更大便利”。
—飛槳（PaddlePaddle）總架構(gòu)師于佃海
是華為開(kāi)源的一款支持端邊云全場(chǎng)景的深度學(xué)習(xí)訓(xùn)練推理框架，當(dāng)前主要應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等AI領(lǐng)域，旨在為數(shù)據(jù)科學(xué)家和算法工程師提供設(shè)計(jì)友好、運(yùn)行高效的開(kāi)發(fā)體驗(yàn)，提供昇騰AI處理器原生支持及軟硬件協(xié)同優(yōu)化。Volcano開(kāi)源項(xiàng)目將有助于提升Kubernetes對(duì)AI任務(wù)的調(diào)度能力支持，有利于MindSpore等深度學(xué)習(xí)框架更加有效的部署，為AI和云原生兩大領(lǐng)域的攜手共創(chuàng)繁榮開(kāi)源生態(tài)打下了堅(jiān)實(shí)的基礎(chǔ)。
—MindSpore社區(qū)技術(shù)委員會(huì)主席、華為MindSpore首席科學(xué)家陳雷教授
自2019年6月宣布開(kāi)源以來(lái)，受到了廣泛的關(guān)注和支持，來(lái)自15家大企業(yè)/機(jī)構(gòu)的80+核心開(kāi)發(fā)者參與了社區(qū)開(kāi)發(fā)及貢獻(xiàn)。
商業(yè)應(yīng)用
目前，Volcano已在華為云容器批量計(jì)算解決方案商用，并支撐多家國(guó)內(nèi)外頭部企業(yè)應(yīng)用于AI、大數(shù)據(jù)、基因等計(jì)算場(chǎng)景。
支持批量任務(wù)與容器的快速發(fā)放，最快每秒可發(fā)放1000容器，并提供公平調(diào)度、隊(duì)列調(diào)度等高級(jí)功能，同時(shí)與華為鯤鵬、昇騰處理器深度融合，打造更高性能、更高性?xún)r(jià)比的容器批量計(jì)算解決方案。
未來(lái)可期
此次CNCF正式將Volcano接納為云原生領(lǐng)域唯一容器批量計(jì)算項(xiàng)目，將極大促進(jìn)Volcano上下游社區(qū)生態(tài)構(gòu)建及合作，吸引廣大云原生企業(yè)用戶(hù)深度參與，Volcano將在企業(yè)數(shù)字化、云原生轉(zhuǎn)型過(guò)程中發(fā)揮越來(lái)越重要的作用，華為云也將在云原生領(lǐng)域持續(xù)耕耘、持續(xù)引領(lǐng)創(chuàng)新、繁榮生態(tài)，助力各行業(yè)走向快速智能發(fā)展之路。
