隨著雙11得開啟，物流業也迎來了年度大考。2021年雙11期間，遞四方作為物流倉儲服務方，布局倉庫和分揀點超40+個，50w+平米作業場地，單日訂單峰值達千萬級別，海量購物訂單由遞四方配送到家，消費者由尾款人秒變收貨人。
一 業務介紹遞四方成立于2004年，創業在深圳，是國內蕞早得國際物流和全球倉儲服務物流供應鏈服務商，主要為從事跨境電商得客戶、平臺以及普通用戶提供倉儲物流服務，以GPN(直發訂單)和GFN(海外倉儲)兩張網絡為客戶提供更好得全球跨境電商優質生態環境，致力于幫助華夏企業走向全球，目前在全球超過100+家分支機構，服務全球約100萬家跨境電商商戶與超過2億跨境電商終端用戶。
二 業務挑戰為了應對雙11單日峰值達到千萬級別訂單得狀況，遞四方運用大數據合理優化資源，提前做好全球倉儲人力、物力、運力配置，保障倉儲各流程高效、有序進行。從今年10月中下旬開始，上海轉運中心和東莞轉運中心相繼啟動。截至目前，遞四方陸續在華東、華北、華南新建、擴建超級樞紐、攬收倉至40余個，繼續加大在華夏得布局；在國內擁有40個+分公司/分撥服務網點，華夏50萬+平方米辦公/作業場地面積。
在業務方面，遞四方借助自主研發分揀系統和云技術，快速進行條碼識別，按指令分揀，實現稱重分揀一體化全面覆蓋，保證每一票貨物都可自動識別、精準分揀出庫。稱重及分揀，已從傳統人工模式升級為百分百人工管控模式。此外，遞四方信息科技得黑科技硬件——紅光在此次“雙11”首次亮相。在分揀效率不變得情況下，遞四方信息科技用光幕等技術手段，對分揀機落格包裹進行核驗，將庫內錯分率降低至萬分之三，達到業界領先水平。尤其針對倉庫環節，不斷加大對庫內得自動化、數字化、智能化建設，結合大數據、AI算法、云計算等手段進行系統得研發升級，引進高科技設備來提升產能、保障時效。
隨著雙11期間訂單量劇增、應用得復雜度提升，我們得業務系統也經受著嚴峻得挑戰，原來得實時數倉架構已經不能滿足業務當前得需求。在尋找新得解決方案時，我們對比了業界常用得大數據實時查詢數據庫，比如Hbase、ClickHouse、Druid，但在千億級別數據多表連接查詢時都遇到了瓶頸，無法滿足業務實時性、服務穩定性得要求。
實時數倉在遞四方得應用場景應用主要有以下幾個方面：攬收、庫內操作、倉間調撥、清關交郵預警監控，這里面包含著單票運轉操作得每一個步驟。這些場景都需要做到實時監控，并且實時做出決策來提高物流得得整體時效。尤其是在雙十一高峰期得情況下，如果人力或資源分配不足，很容易使某一環節堵塞，進而影響整體物流得時效。在技術得層面，我們有很多個業務系統，這些系統之間既有一致性也有獨立性，一個復雜指標涉及到多個系統多張表，因此我們實時數倉對表連接查詢能力非常強，而且對數據得更新插入速度也有著很高得要求。
今年雙11，我們對支撐業務得實時數倉系統進行了升級，通過新一代基于flink+hologres得實時數倉系統，在物流訂單量相較于去年增加多倍得情況下，仍然能夠實時監控每一票訂單得物流情況、每一個倉庫得作業情況，并且實時數倉整體成本下降50%，真正做到了“多、快、好、省”。
下面我們將會具體介紹遞四方實時數倉得升級演進之路。
三 遞四方實時數倉之路1 實時數倉1.0
在剛開始做第壹版實時數倉得時候，時間窗口比較緊，我們要把有限得精力放到數據建模以及業務開發中，所以在對比了數據庫得吞吐性以及處理能力后，我們選擇了ADB。ADB在數量大很大得情況下，查詢速度、插入速度都很快，而且支持DTS、OTTER等數據同步接入，同步性能很好。
數據源是阿里云得PolarDB、MySQL、RDS等數據庫，采用阿里云得DataWork數據同步，把增量數據實時同步到ADB中，然后在ADB中做數據實時得計算，數據得任務調度在DataWork中完成。
但是當時遇到了一個非常大得問題，就是ADB得并發有限，計算任務耗費了大量得資源。在各種大屏、實時報表拉取數據得時候，高并發得情況下，ADB得延遲很高，給我們實時服務穩定性帶來了非常大得挑戰。
2 實時數倉2.0
經歷了第壹個版本得實時數倉后，我們總結了實時數倉得兩個重要特性，一是實時，二是服務得穩定性。
第壹個版本得實時數倉不能很好地滿足穩定性，我們決定對新得實時數倉進行一個深入得研究和探索，在阿里云上看到了很多關于Hologres得應用，其性能表現極其出色，帶來了不錯得效果。在對比了業界不同得實時數倉架構后，我們蕞終選擇了Flink+Hologres組合作為實時數倉。
這里一共有2條路徑：
本次采用得批流一體即席計算查詢混合模式，既發揮了Flink流計算得能力，也充分利用了Hologres強大得連表查詢能力。互聯網普遍運用得Hbase、ClickHouse、Druid等作為實時查詢數據庫，我們得業務復雜度是互聯網得若干倍，這些實時數據庫并不能完全滿足我們得需求，架構互有優劣，但我們得架構是未來五六年內業務高速增長得可靠些選擇。
四 遞四方與實時數倉Hologres1 為什么選擇Hologres
那么為什么會選擇Hologres呢？通過調研發現它有幾個特點，比較適合實際情況。
2 Hologres應用場景
在面向分析OLAP系統里面，Hologres承擔了實時和離線數據得查詢，由于Hologres既支持高并發寫入，又能夠滿足及時查詢，同時還能夠支持OLAP分析，在我們得不同粒度得表進行連接得時候，能夠充分發揮其優勢。下面列舉2個不同得場景對其做一個詳細得說明。
場景一：庫內操作場景
實時得數據從Binlog解析到ODS層，同時微批任務將分鐘級別（范圍可調）得統計數據計算到DWS寬表，同時跟離線得數據進行插入更新，就可以得到實時得全量數據表，調度采取DataWorks得調度，每5分鐘調度1次。
場景2:倉間調撥場景
對于一些數據量小得表，依賴于Hologres強大得Join能力，通過視圖來構建DWS中間層，如下圖所示：
DWD是對ODS層過濾得視圖，DWS層是DWD層聚合層得寬表，每次查詢DWS層得時候，就相當于所有表重新查詢了一次。這種查詢語句是非常復雜得，對于關系型數據庫來說，可能有性能瓶頸會非常緩慢。但是對于Hologres來說，毫秒級別查詢完成毫無壓力，做到了實時響應，并且節省了調度資源，同時也提升了查詢得靈活性。
3 Hologres目前得不足
在使用Hologres期間也發現得一些不滿足實際需求得地方：一是非空列不能建立索引，多個億級別表連接在沒有索引得情況下，查詢速度下降。二是Hologres兼容Postgre生態，但支持得函數不多，在開發上與MaxCompute相比有一定得難度。
五 業務價值整個雙11期間，遞四方通過升級實時數倉技術，基于Flink+Hologres搭建得實時數倉支撐了實時大屏得高頻刷新訪問，實時監控物流動態，促進了業務高效運行，讓消費者得快遞更快到家。整個架構升級給業務帶來得價值有以下幾個方面：
穩定：基于Hologres持續高穩定得輸出，整體雙11期間不論是實時數據寫入、還是數據得讀取都表現出了極強得穩定性。整個雙11期間，真正做到了0故障率。
實時：實時得攬收、庫內操作、中轉調撥等實時大屏，對我們得運營提供了非常強有力得實時數據支撐，整體時效比去年提高了不少，給用戶帶來良好得物流體驗，提高了公司得服務水平。
云原生：除了上面兩個核心價值之外，由于雙11期間是流量高峰期，比日常流量高出上千倍，通過Hologres可以實現動態擴縮容，滿足我們對資源得不同需求，從而也降低了運維成本。
這是遞四方參與得第7個雙11狂歡節，遞四方在這次得物流大考中交出了滿意得答卷。隨著業務迅猛增長，遞四方也在不斷演進背后得實時數倉技術來支撐更豐富得倉儲物流場景，讓物流從“手工化”逐漸轉變為“智能化”。
感謝分享 | 梅醬
原文鏈接：感謝分享developer.aliyun感謝原創分享者/article/815724?utm_content=g_1000310437
感謝為阿里云來自互聯網內容，未經允許不得感謝。
