飛象網訊 2020年初中國聯(lián)通發(fā)布公告，基于華為Kunpeng大數(shù)據存算分離方案，中國聯(lián)通集團聯(lián)合華為技術有限公司共同完成了大數(shù)據計算存儲分離架構的規(guī)�；夹g創(chuàng)新。中國聯(lián)通將上線超過100臺Kunpeng大數(shù)據存儲節(jié)點，計算存儲分離架構已經成為運營商大數(shù)據平臺創(chuàng)新的利器。該方案將為運營商大數(shù)據創(chuàng)新帶來巨大價值：
運營商大數(shù)據平臺降本增效需求凸顯
作為數(shù)字化轉型的先行者，運營商利用大數(shù)據平臺進行經營分析、網絡優(yōu)化、流量清單、日志留存等業(yè)務。這些大數(shù)據平臺在運營商業(yè)務中發(fā)揮著至關重要的作用，但龐大的數(shù)據量也給用戶帶來了新的挑戰(zhàn)。為應對挑戰(zhàn)，運營商在大數(shù)據平臺的建設和擴容方面每年都保持著規(guī)模投入，隨之而來的降本與增效矛盾越發(fā)突出：
● 傳統(tǒng)大數(shù)據平臺計算存儲等比例擴容，無法精準投資
當前運營商大數(shù)據平臺基于傳統(tǒng)存算一體架構獨立建設。但不同業(yè)務對大數(shù)據平臺計算和存儲的資源要求差異較大，如網優(yōu)類業(yè)務是計算密集型的業(yè)務，CPU利用率長期維持在90%以上，存儲水位線往往低于20%；而日志留存和流量清單則是存儲密集型的業(yè)務，以點查為主，CPU平均利用率不足30%，存儲水位線卻已經在70%以上，經常需要被動刪除數(shù)據釋放存儲空間。傳統(tǒng)的計算存儲等比例擴容，會造成計算或存儲資源的浪費。
● 傳統(tǒng)大數(shù)據平臺多副本機制，占用大量機房空間
傳統(tǒng)大數(shù)據平臺使用多副本方式進行數(shù)據保護，常見的存儲利用率僅為33%（2副本為50%）。運營商的日志留存業(yè)務，每千萬用戶就會產生約6PB的數(shù)據。隨著5G、IoT等業(yè)務興起，當前正以每年約40%的速度在快速增長。10PB的數(shù)據量，以多副本方式存儲，就需要數(shù)百臺服務器，占用大量的機房空間，同時帶來供電、制冷等一系列的維護成本增加。
● 傳統(tǒng)大數(shù)據平臺計算存儲緊耦合，資源調度不靈活
運營商大數(shù)據已經應用到各個業(yè)務系統(tǒng)，形成了很多獨立的大數(shù)據集群。基于大數(shù)據海量的數(shù)據存儲和計算需求，傳統(tǒng)做法是獨立建設大數(shù)據集群，避免和實時業(yè)務搶占計算資源。但大數(shù)據集群業(yè)務峰值和實時業(yè)務有明顯差異，比如經營分析系統(tǒng)，業(yè)務高峰期是在22:00-06:00，而計費等實時業(yè)務系統(tǒng)業(yè)務高峰期是在06:00-22:00。由于計算和存儲融合，傳統(tǒng)大數(shù)據平臺無法在不同業(yè)務系統(tǒng)間靈活調度計算資源，浪費寶貴的算力。同時，一旦出現(xiàn)緊急需求，傳統(tǒng)大數(shù)據系統(tǒng)的改造時間往往需要按周計，嚴重影響業(yè)務上線時間。
在運營商提速降費的大背景下，這些問題變得尤為突出，降本增效，讓每一分錢用在 “刀刃”上，日益成為運營商客戶的核心訴求。
華為Kunpeng大數(shù)據存算分離方案成為降本增效的良藥
面臨這些挑戰(zhàn)，三大運營商不約而同的選擇了大數(shù)據存算分離方案，并攜手華為，選擇華為OceanStor大數(shù)據存算分離方案作為解決之道：
● 彈性EC，存儲利用率大幅提升
華為大數(shù)據存儲使用彈性EC替代傳統(tǒng)HDFS的多副本，存儲利用率提升了1.75倍，同時保證性能、可靠性和多副本相當，并能夠大幅降低日志留存、流量清單這類存儲密集型業(yè)務的機房空間占用，節(jié)省大量的供電、制冷費用，成本節(jié)約效果顯著。
● 依托華為Kunpeng多核算力，大幅提升數(shù)據存儲性能
華為大數(shù)據存儲采用Kunpeng多核架構的處理器，基于多核架構做深度優(yōu)化，如EC、壓縮等算法卸載到Kunpeng芯片上執(zhí)行，保證業(yè)務性能穩(wěn)定；基于多核架構，優(yōu)化進程并發(fā)度，充分發(fā)揮多核的性能，也是華為大數(shù)據存儲采用EC性能、保持可靠性的核心所在。
● 計算、存儲資源池化，靈活按需調度
采用華為大數(shù)據存算分離方案，計算集群和存儲集群可以分別云化，實現(xiàn)資源的按需調度。既解決了不同大數(shù)據集群間計算、存儲資源利用率不均的問題，又使得大數(shù)據計算節(jié)點可以和用戶的其他計算節(jié)點能夠按業(yè)務峰谷靈活調配，一舉兩得。
● 全分布式架構，單NameSpace支持百億文件
傳統(tǒng)大數(shù)據平臺的主備NameNode架構，長期存在當單個NameSpace文件數(shù)超過1.5億后，性能大幅衰減的問題，甚至會導致NameNode崩潰。此時，客戶就需要拆分業(yè)務到多個NameSpace或手動刪除業(yè)務，限制了大數(shù)據集群的擴展。華為大數(shù)據存儲采用全分布式的NameNode架構，每個物理節(jié)點既是存儲節(jié)點，也是元數(shù)據管理節(jié)點，性能隨著節(jié)點數(shù)增加線性擴展，單個NameSpace可支持百億文件，幫助大數(shù)據平臺從容應對5G時代海量數(shù)據存儲需求。
● 原生HDFS，新老共存，保護投資
華為的存算分離方案可提供原生HDFS接口，用戶應用不需要任何修改就可以直接使用；還針對不同大數(shù)據組件的要求，該方案提供了多種擴容方案，實現(xiàn)本地HDFS新老共存，保護用戶投資的同時，降低了數(shù)據遷移的難度，消除用戶的后顧之憂。
5G和AI的時代已經到來，大數(shù)據在千行百業(yè)中正發(fā)揮著越來越重要的作用�；谝延械腒unpeng大數(shù)據存算分離創(chuàng)新成果，華為將在Kunpeng生態(tài)領域，與中國聯(lián)通持續(xù)深入合作，實現(xiàn)更多技術創(chuàng)新和關鍵應用成果落地，支撐客戶創(chuàng)造更多價值。
