概要
2021年12月13日,中國(guó)信息通信研究院新一輪“大數(shù)據(jù)產(chǎn)品能力評(píng)測(cè)”結(jié)果公布,阿里云實(shí)時(shí)計(jì)算 Flink 版通過(guò)分布式流處理平臺(tái)穩(wěn)定性專(zhuān)項(xiàng)測(cè)評(píng),阿里云成為「首批+唯一」通過(guò)該穩(wěn)定性專(zhuān)項(xiàng)評(píng)測(cè)的廠(chǎng)商。此前,實(shí)時(shí)計(jì)算 Flink 版分別在2019年5月和2021年6月通過(guò)中國(guó)信通院“分布式流處理平臺(tái)-基礎(chǔ)能力測(cè)評(píng)”和“分布式流處理平臺(tái)-性能專(zhuān)項(xiàng)測(cè)評(píng)”,因此阿里云實(shí)時(shí)計(jì)算 Flink 版成為國(guó)內(nèi)唯一全面通過(guò)中國(guó)信通院基礎(chǔ)能力、性能、穩(wěn)定性三款評(píng)測(cè)的分布式流處理平臺(tái)產(chǎn)品。
評(píng)測(cè)詳情
近年來(lái),“中國(guó)信通院大數(shù)據(jù)產(chǎn)品能力評(píng)測(cè)”作為國(guó)內(nèi)首個(gè)大數(shù)據(jù)產(chǎn)品權(quán)威評(píng)測(cè)體系,已成為廠(chǎng)商產(chǎn)品研發(fā)和用戶(hù)采購(gòu)選型的風(fēng)向標(biāo)。本次阿里云實(shí)時(shí)計(jì)算 Flink 版在穩(wěn)定性專(zhuān)項(xiàng)性能測(cè)評(píng)中,通過(guò)了CPU高負(fù)載、硬盤(pán)高負(fù)載、內(nèi)存高負(fù)載、讀寫(xiě)高負(fù)載、網(wǎng)絡(luò)丟包、單節(jié)點(diǎn)故障、隨機(jī)高強(qiáng)度綜合測(cè)試等7個(gè)子項(xiàng)目評(píng)測(cè)。其中 CPU高負(fù)載、硬盤(pán)高負(fù)載、內(nèi)存高負(fù)載、讀寫(xiě)高負(fù)載、網(wǎng)絡(luò)丟包 這五種情況下作業(yè)自動(dòng)適應(yīng)環(huán)境,從而平穩(wěn)運(yùn)行;單節(jié)點(diǎn)故障、隨機(jī)混合測(cè)試中 作業(yè)均從故障中完成自動(dòng)恢復(fù),并持續(xù)運(yùn)行直到計(jì)算任務(wù)完成。面對(duì)小規(guī)模硬件故障和復(fù)雜網(wǎng)絡(luò)環(huán)境,實(shí)時(shí)計(jì)算Flink版表現(xiàn)出極高的架構(gòu)健壯性,持續(xù)向用戶(hù)提供穩(wěn)定的企業(yè)級(jí)服務(wù)。
技術(shù)優(yōu)勢(shì)
實(shí)時(shí)計(jì)算 Flink 版產(chǎn)品在阿里巴巴集團(tuán)各類(lèi)大促環(huán)境中早已有廣泛應(yīng)用,在天貓雙十一購(gòu)物節(jié)和618等重大電商活動(dòng)中都表現(xiàn)出卓越的能力。今年的雙十一購(gòu)物節(jié)期間,Flink實(shí)時(shí)計(jì)算的算力總TPS達(dá)到驚人的69億條每秒,GMV 大屏延遲在 3 秒以?xún)?nèi)。2021年實(shí)時(shí)計(jì)算 Flink 版成為中國(guó)唯一進(jìn)入Forrester強(qiáng)勁表現(xiàn)者象限的產(chǎn)品,刷新了國(guó)內(nèi)公司在數(shù)據(jù)流計(jì)算領(lǐng)域的最好成績(jī)。
阿里云流計(jì)算產(chǎn)品進(jìn)入 Forrester 數(shù)據(jù)流分析報(bào)告
產(chǎn)品優(yōu)勢(shì)
作為國(guó)內(nèi)最早布局實(shí)時(shí)計(jì)算技術(shù)方向的企業(yè)之一,早在 2016 年阿里巴巴就已經(jīng)開(kāi)始大規(guī)模上線(xiàn)使用實(shí)時(shí)計(jì)算產(chǎn)品。本次通過(guò)測(cè)試的阿里云實(shí)時(shí)計(jì)算 Flink 版,是阿里云Flink企業(yè)級(jí)開(kāi)發(fā)運(yùn)維平臺(tái)和增強(qiáng)型內(nèi)核引擎所構(gòu)成的云上產(chǎn)品。實(shí)時(shí)計(jì)算 Flink 版產(chǎn)品相對(duì)于開(kāi)源 Apache Flink 擁有更具優(yōu)勢(shì)的功能和穩(wěn)定性,開(kāi)箱即用,同時(shí)企業(yè)級(jí)增強(qiáng)功能集成阿里云增強(qiáng)的 Iceberg、Hudi 等數(shù)據(jù)湖格式能力,方便用戶(hù)構(gòu)建大規(guī)模數(shù)據(jù)湖。
實(shí)時(shí)計(jì)算 Flink 版還擁有豐富的作業(yè)運(yùn)行監(jiān)控與診斷調(diào)優(yōu)能力,可以為用戶(hù)提供狀態(tài)兼容性檢查和狀態(tài)數(shù)據(jù)遷移,以最大可能的復(fù)用原來(lái)的狀態(tài)數(shù)據(jù),幫助用戶(hù)快速升級(jí) SQL作業(yè)。同時(shí)支持算子級(jí)別的精細(xì)化資源配置(CPU/Mem),大規(guī)模作業(yè)資源利用率提高 100%+。
在產(chǎn)品形態(tài)層面,實(shí)時(shí)計(jì)算 Flink 版向用戶(hù)提供靈活的產(chǎn)品形態(tài)以供選擇。不僅支持適合用戶(hù)開(kāi)箱即用的全托管形態(tài),幫助用戶(hù)快速落地流計(jì)算的開(kāi)發(fā)運(yùn)維,同時(shí)也支持用戶(hù)自主可控、易于集成的半托管形態(tài)(基于 Yarn 資源分配調(diào)度),包年包月模式與用戶(hù)自建成本一致,幫助用戶(hù)實(shí)現(xiàn)一站式實(shí)時(shí)數(shù)據(jù)流處理的基礎(chǔ)架構(gòu)(包含 Kafka 和 企業(yè)版Flink引擎VVR)。對(duì)于資源相對(duì)變動(dòng)較小的情況,可以選擇包年包月。對(duì)于資源不好明確評(píng)估或有業(yè)務(wù)高低峰變化的,可以選擇按量付費(fèi) + Autopilot 模式實(shí)現(xiàn) serverless 的“用多少買(mǎi)多少”。
實(shí)時(shí)計(jì)算 Flink 版產(chǎn)品在阿里巴巴的發(fā)展歷程
客戶(hù)案例
目前阿里云實(shí)時(shí)計(jì)算 Flink 版已經(jīng)沉淀了互聯(lián)網(wǎng)娛樂(lè),在線(xiàn)交易,金融,在線(xiàn)教育等近百個(gè)行業(yè)案例場(chǎng)景,多行業(yè)全方位實(shí)踐場(chǎng)景,為業(yè)務(wù)穩(wěn)定發(fā)展保駕護(hù)航。
實(shí)時(shí)計(jì)算Flink版部分客戶(hù)案例
