5月7日,以“數(shù)據(jù)覺醒,構(gòu)建AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施”為主題的2024創(chuàng)新數(shù)據(jù)基礎(chǔ)設(shè)施論壇在柏林舉行。華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士發(fā)表題為“數(shù)據(jù)覺醒時代,華為重新定義數(shù)據(jù)存儲”主題演講,他表示,具備極致性能、數(shù)據(jù)韌性、全新數(shù)據(jù)范式、高擴展性、綠色節(jié)能、數(shù)據(jù)編織能力的數(shù)據(jù)存儲是AI時代存儲演進的必由之路。
華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁 周躍峰博士
從上世紀90年代至今,隨著企業(yè)的應用由單機、數(shù)據(jù)庫/虛擬化、文件共享、大數(shù)據(jù)、高性能數(shù)據(jù)分析等應用的變遷,數(shù)據(jù)存儲經(jīng)歷了從DAS到SAN/NAS,再到非結(jié)構(gòu)化存儲的變革與演進。直到如今生成式AI的爆發(fā),對數(shù)據(jù)存儲提出了新的訴求。
AI大模型集群規(guī)模已邁入萬卡、十萬卡時代,集群規(guī)模增加帶來更加頻繁的故障和訓練中斷,重復的CheckPoint數(shù)據(jù)寫入、斷點續(xù)訓導致算力資源閑置,集群可用度不足50%。此外,到2026年,全球數(shù)據(jù)中心的耗電量預計將達到2022年的2.3倍,相當于日本一個國家全年的耗電量,其中數(shù)據(jù)中心一半以上的電力消耗都將被AI占據(jù)。
AI時代呼喚新一代數(shù)據(jù)存儲。過去的數(shù)據(jù)存儲主要關(guān)注性能、可靠、數(shù)據(jù)范式三個方面;面向未來,AI存儲還應增加三個維度:高擴展性、綠色節(jié)能與數(shù)據(jù)編織。數(shù)據(jù)覺醒時代,華為將重新定義數(shù)據(jù)存儲,聚焦于六個方面的創(chuàng)新,持續(xù)引領(lǐng):
極致性能:超越傳統(tǒng)存儲10倍的性能,支持PB級帶寬以及億級IOPS,極大提升生成式AI全流程效率;
數(shù)據(jù)韌性:通過架構(gòu)和技術(shù)創(chuàng)新,實現(xiàn)99.9999%高可靠性,通過內(nèi)置防勒索引擎,實現(xiàn)偵測準確率提升至99.99%,并將AI訓練過程中CheckPoint恢復時間縮至1分鐘以內(nèi);
全新數(shù)據(jù)范式:使能多維“張量”格式的數(shù)據(jù),通過智能檢索引擎,具備快速的張量數(shù)據(jù)檢索能力;通過內(nèi)嵌知識庫,利用RAG技術(shù)消除AI大模型幻覺;
高擴展性:存儲集群支持EB級容量橫向擴展;每個引擎可支持多GPU、DPU或NPU縱向擴展,以支持近存計算;
綠色節(jié)能:通過存儲介質(zhì)應用創(chuàng)新和整機硬件創(chuàng)新,實現(xiàn)小于1Watt/TB的存儲能效和1PB/U的存儲密度;
數(shù)據(jù)編織:基于存儲元數(shù)據(jù)管理及檢索能力,實現(xiàn)全局數(shù)據(jù)可視、可管,并支持10倍的數(shù)據(jù)流動效率提升。
基于以上創(chuàng)新,華為推出全新A系列高性能存儲OceanStor A800,專為AI而生,可有效提升AI集群可用度30%。性能方面,OceanStor A800帶寬是友商同類產(chǎn)品的4倍,IOPS達友商的8倍;支持EB級容量擴展,最大支持擴容至4096張算力卡,512個存儲控制器;從空間能耗來看,密度高達1PB/U,能耗低至0.7Watt/TB;結(jié)合向量化索引、張量格式數(shù)據(jù)、RAG知識庫,使能全新數(shù)據(jù)范式;數(shù)據(jù)韌性方面,勒索攻擊偵測準確率從99.9%提升至99.99%;通過數(shù)據(jù)編織能力,實現(xiàn)數(shù)據(jù)資產(chǎn)管理。
此外,存儲介質(zhì)創(chuàng)新助力可持續(xù)發(fā)展。華為新推出128TB大容量SSD盤,相比業(yè)界友商,每PB節(jié)約88%空間,節(jié)省92%能耗,相同空間實現(xiàn)10倍容量提升,進一步降低數(shù)據(jù)中心能耗。
同樣,AI-Ready的前提是Data-Ready。DME內(nèi)置的Omni-Dataverse全局文件系統(tǒng)實現(xiàn)企業(yè)全域數(shù)據(jù)資產(chǎn)可視、可管、可流動,構(gòu)筑AI數(shù)據(jù)湖存儲底座。
最后,周躍峰表示,華為將聚焦數(shù)據(jù)覺醒時代客戶面臨的挑戰(zhàn)和需求,重新定義數(shù)據(jù)存儲,構(gòu)筑AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施,為客戶創(chuàng)造價值。