小紅書技術團隊近日達成一項行業創舉,成功將其龐大的數據湖無故障遷移至阿里云,此舉在業界堪稱前所未有。
作為月活用戶超3億的頭部互聯網企業,小紅書的數據湖匯集了11年來的全部原始數據,包含多樣化的數據結構。隨著業務的迅猛擴展,公司對數據的實時處理能力提出了更高要求,而歷史數據的離線處理也面臨諸多挑戰。
為了應對這些挑戰,小紅書于2023年11月啟動了遷云項目,目標是在一年內將數據湖平穩遷移至阿里云。該項目的規模之大,即便是與業界之前的案例相比,也顯得尤為突出。
遷云項目在2024年5月正式進入雙跑階段,這是切換至新環境前的關鍵測試期,對確保系統穩定性至關重要。在此期間,技術團隊面臨了海量的問題挑戰,每周平均需應對500余個新增問題。
得益于阿里云團隊的全力支持,小紅書技術團隊成功完成了割接任務,且全程未出現任何P2級別及以上的故障。這一成就標志著小紅書在數據處理能力上邁上了新臺階。
至2024年11月,遷云項目圓滿落幕。在整個過程中,技術團隊共遷移了500PB的數據量,執行了11萬項任務,參與人員達1500人,涉及公司內部40余個部門。這一壯舉不僅展示了小紅書在技術創新方面的實力,也為行業樹立了新的標桿。