記者獲悉，經(jīng)過(guò)一年奮戰(zhàn)，小紅書(shū)已把業(yè)界體量最大的數(shù)據(jù)湖0故障遷上阿里云。據(jù)統(tǒng)計(jì)，該項(xiàng)目共有1500人參與，遷移數(shù)據(jù)500PB。
作為中國(guó)頭部互聯(lián)網(wǎng)公司之一，小紅書(shū)月活已過(guò)3億，其數(shù)據(jù)湖存儲(chǔ)了過(guò)去11年的所有原始數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。近年來(lái)，隨著業(yè)務(wù)的高速增長(zhǎng)，小紅書(shū)在線(xiàn)處理數(shù)據(jù)的需求不斷增加，同時(shí)離線(xiàn)處理所積累的歷史問(wèn)題，也會(huì)在未來(lái)的切換中帶來(lái)更多成本與風(fēng)險(xiǎn)。
為此，2023年11月，小紅書(shū)發(fā)起遷云項(xiàng)目——計(jì)劃一年內(nèi)，把小紅書(shū)的數(shù)據(jù)湖搬上阿里云。
遷移至阿里云上后，數(shù)據(jù)湖可通過(guò)多個(gè)OSS Bucket支持納入統(tǒng)一資源池，實(shí)現(xiàn)多個(gè)Bucket共享資源池內(nèi)的OSS吞吐及QPS能力。這樣的流控能力在面向小紅書(shū)復(fù)雜業(yè)務(wù)場(chǎng)景，可靈活調(diào)配資源，高效利用吞吐性能，降低不同業(yè)務(wù)租戶(hù)間的互相影響。阿里云原生HDFS+DLA元數(shù)據(jù)可實(shí)現(xiàn)無(wú)縫對(duì)接Hadoop EMR體系，支持元數(shù)據(jù)線(xiàn)性擴(kuò)展能力，輕松應(yīng)對(duì)小紅書(shū)數(shù)百PB數(shù)據(jù)下的元數(shù)據(jù)線(xiàn)性增長(zhǎng)。
較于過(guò)往業(yè)界體量最大的案例，小紅書(shū)的本次遷移的數(shù)據(jù)體量更大。
*注：任務(wù)=數(shù)據(jù)處理過(guò)程
(圖片來(lái)自小紅書(shū)官方公眾號(hào))
據(jù)介紹，小紅書(shū)的遷云項(xiàng)目經(jīng)歷了三個(gè)階段。第一步，項(xiàng)目組首先解決標(biāo)準(zhǔn)問(wèn)題，然后根據(jù)標(biāo)準(zhǔn)進(jìn)行治理;第二步，完成治理后，項(xiàng)目在2024年5月正式進(jìn)入雙跑階段。把數(shù)據(jù)拷貝到阿里云上，兩邊同時(shí)跑數(shù)，驗(yàn)證正確性與及時(shí)性;第三步，2024年8月，項(xiàng)目結(jié)束雙跑，進(jìn)入割接階段。阿里云團(tuán)隊(duì)全程在現(xiàn)場(chǎng)保障，順利完成了割接。
2024年11月，小紅書(shū)遷云項(xiàng)目正式宣告結(jié)束。在0故障的情況下，遷移數(shù)據(jù)500PB，任務(wù)11萬(wàn)，參與人數(shù)1500人，涉及部門(mén)40多個(gè)。項(xiàng)目涉及產(chǎn)品之多和數(shù)據(jù)體量之大均創(chuàng)下業(yè)界記錄。
