2023年11月17日,由StarRocks社區(qū)發(fā)起、鏡舟科技主辦的StarRocks 年度大型技術(shù)交流峰會StarRocks Summit 2023在上海成功舉行。
本次峰會以“極速進化,融合"新"生”為主題,40余場分享演講在全天密集開展,來自平安銀行、華潤、騰訊游戲、阿里云、伊利、美的、京東等頭部企業(yè)的大數(shù)據(jù)專家圍繞數(shù)據(jù)進化、需求進化、技術(shù)進化,細致講解大數(shù)據(jù)分析的最新技術(shù)和最佳實踐,為大數(shù)據(jù)分析行業(yè)呈現(xiàn)了一場精彩的技術(shù)盛宴。
峰會吸引了數(shù)百名企業(yè)用戶代表和開發(fā)者到場聆聽交流,另有數(shù)萬名數(shù)據(jù)分析愛好者、從業(yè)者線上參會,通過多種渠道觀看了峰會直播。
新面孔:StarRocks大用戶陣容不斷壯大
這是StarRocks第三次舉行年度技術(shù)交流峰會,峰會延續(xù)了以前的高規(guī)格,亮相的企業(yè)用戶代表堪稱全明星陣容,全都是所在行業(yè)頭部,并且具有廣泛的社會知名度和影響力。
其中,既有騰訊、阿里、京東等在去年峰會上分享過經(jīng)驗的互聯(lián)網(wǎng)“老面孔”,也有不少來自金融、制造、零售等行業(yè)的新面孔,比如伊利、平安銀行、芒果TV等企業(yè)就是首次派代表到場演講。
作為一款技術(shù)領先的開源OLAP數(shù)據(jù)庫產(chǎn)品,StarRocks一直備受大用戶青睞,隨著StarRocks加速向各行各業(yè)滲透,大用戶陣容也在不斷擴大,截至目前,已有超過300家市值10億美金的企業(yè)使用StarRocks。
在大用戶的示范和帶動下,中小企業(yè)用戶規(guī)模同樣在迅速壯大,StarRocks社區(qū)用戶已突破1萬,并依然保持著高速增長態(tài)勢。
另外,根據(jù)峰會演講嘉賓透露的使用情況,用戶對StarRocks的部署規(guī)模也在快速增長。
其中,騰訊游戲公共數(shù)據(jù)平臺部總監(jiān)崔玉明介紹,騰訊游戲已上線近100個StarRocks集群,共有1470個BE節(jié)點,1300個CN節(jié)點,湖數(shù)據(jù)量達4.99P。
從應用場景來看,嘉賓們分享的場景包括金融營銷、用戶畫像、自助分析、報表體驗升級等,基本涵蓋了當前實時數(shù)倉技術(shù)的所有經(jīng)典應用場景。
鏡舟科技CEO孫文現(xiàn)表示,StarRocks開源社區(qū)為制勝場景的誕生提供了肥沃的土壤,各行各業(yè)、各種需求在社區(qū)中碰撞、交融,產(chǎn)生出StarRocks的制勝場景。
據(jù)孫文現(xiàn)介紹,鏡舟科技基于StarRocks打造的企業(yè)級產(chǎn)品全年經(jīng)歷了近百次POC,成功率達到90%以上。
StarRocks產(chǎn)品能力有多硬核,由此可見一斑,這也可解釋為什么會有越來越多的用戶選擇StarRocks。
新范式:StarRocks引領湖倉一體趨勢
本次峰會共設置了一個主論壇、四個分論壇,除了企業(yè)用戶代表基于實踐的經(jīng)驗分享,開發(fā)者代表進行的功能詮釋同樣精彩。
過去一年,StarRocks先后發(fā)布了2.5、3.0、3.1三個重磅版本,其中3.0版本推出的存算分離架構(gòu)為開源業(yè)界首創(chuàng),曾在行業(yè)內(nèi)引起巨大反響。
StarRocks TSC Member、鏡舟科技CTO張友東介紹,升級到存算分離架構(gòu)后,用戶的存儲成本能下降80%,而計算節(jié)點則因為無狀態(tài),可以通過快速彈性、跨可用區(qū)部署等方式來提高計算的可用性,并且計算資源能夠進行物理隔離,按需獨立彈性伸縮。
到3.1版本,開啟Local cache的情況下,存算分離架構(gòu)下的性能表現(xiàn)已接近本地存儲的水平。
與此同時,現(xiàn)在StarRocks的湖倉分析能力已非常完備,不僅支持internal、Data lake、JDBC、ES等catalog,還支持跨數(shù)據(jù)源的聯(lián)幫分析。
另外,主鍵模型的能力在過去一年也得到持續(xù)提升,已經(jīng)同時支持全內(nèi)存和持久化的索引,并支持了partial update、conditional update的能力,在性能方面,針對批量更新的場景,引入了按列更新的模式,性能相比按行更新提升10倍以上。
張友東表示,未來數(shù)據(jù)演進的趨勢是湖倉一體,用戶無需關注是建湖還是建倉,不管是構(gòu)建數(shù)據(jù)湖還是構(gòu)建數(shù)據(jù)倉庫,企業(yè)最終的目標是低成本、高效的解決數(shù)據(jù)分析問題。StarRocks在具備存算分離、湖倉分析、物化視圖等一系列重量級特性后,實現(xiàn)了往Lakehouse引擎的升級,借助StarRocks可兼具數(shù)據(jù)湖和數(shù)據(jù)庫倉庫的優(yōu)勢。
目前已有數(shù)十家企業(yè)在基于StarRocks實踐湖倉新范式,并取得非常好的業(yè)務效果。
其中,芒果TV采用StarRocks存算分離作為統(tǒng)一的Lakehouse,所有數(shù)據(jù)導入到StarRocks進行統(tǒng)一管理;微信近實時的數(shù)據(jù)寫入到lceberg,通過 Iceberg直接分析;攜程數(shù)據(jù)統(tǒng)一存儲在Hive,采用StarRocks直接查詢加速報等等。
新未來:StarRocks的進化故事還在繼續(xù)
據(jù)張友東介紹,未來StarRocks還會朝著云原生方向繼續(xù)邁進,推動實時分析鏈路進一步精簡,通過ETL on lakehouse,all in one的作業(yè)模式,幫助企業(yè)低成本、高效率地發(fā)掘數(shù)據(jù)價值。
值得一提的是,StarRocks社區(qū)是由鏡舟科技與阿里云、騰訊、小紅書、滴滴等互聯(lián)網(wǎng)公司共同建設,包括全局字典函數(shù)、同步物化視圖增強、Paimon Catalog等在內(nèi)的許多feature都由互聯(lián)網(wǎng)大廠貢獻,以后注定也還會從大廠生產(chǎn)環(huán)境中持續(xù)吸收靈感和助力,給業(yè)界帶來更多驚喜。
與此同時,圍繞StarRocks形成的商業(yè)生態(tài)也越來越完善,以鏡舟科技為代表的商業(yè)團隊不斷提升著產(chǎn)品的易用性、穩(wěn)定性,將產(chǎn)品能力落地到復雜的需求環(huán)境中,創(chuàng)造更大價值。
隨著此次峰會精彩內(nèi)容的傳播,相信會有越來越多的企業(yè)受到啟發(fā),利用OLAP領域的最前沿技術(shù),完成自身業(yè)務場景的升級和進化。