11月6日消息,今天阿里云宣布,小紅書技術團隊近日完成了一項業(yè)界前所未有的壯舉,將業(yè)界最大數(shù)據(jù)湖0故障遷移至阿里云。
作為中國頭部互聯(lián)網(wǎng)公司之一,小紅書月活用戶已超過3億,其數(shù)據(jù)湖存儲了過去11年的所有原始數(shù)據(jù),包括結構化、半結構化和非結構化數(shù)據(jù)。
隨著業(yè)務的高速增長,小紅書對在線處理數(shù)據(jù)的需求不斷增加,同時離線處理所積累的歷史問題也提高了切換的難度。
2023年11月,小紅書共有1500人參與遷云項目——計劃一年內(nèi),把小紅書的數(shù)據(jù)湖搬上阿里云,彼時即便是業(yè)界體量最大的案例,也遠小于小紅書的本次遷移。
2024年5月,項目正式進入雙跑階段,作為切換到正式環(huán)境前最后的測試,是穩(wěn)定性最大的保障。
在這一階段,團隊需要解決的問題數(shù)不勝數(shù),每周平均新增500多個問題。
在阿里云團隊的全力保障下,小紅書技術團隊順利完成了割接,沒有發(fā)生任何一個P2及以上故障。
2024年11月,小紅書遷云項目正式宣告結束,在沒有故障的情況下,遷移數(shù)據(jù)500PB,任務11萬,參與人數(shù)1500人,涉及部門40多個。