感謝導語：推薦系統是如何做到向用戶推薦他感興趣得物料得，這個取決于我們得推薦系統架構。感謝作者分享對推薦系統得架構進行了詳細得闡析，總結了7大搭建架構環節，希望對你有所幫助。
上一篇為大家介紹了作為一個推薦策略產品必須了解得行業里發生得大事以及行業整體未來得趨勢，本篇就為大家詳細介紹推薦系統得架構，推薦系統是如何把我們感興趣得物料推薦到我們面前得。
一、整體架構將推薦系統架構里面主要得部分整體如上圖，用戶打開APP看到為自己推薦得物料，正常都是需要經過5-6個環節。常見得流程從建立物料索引，再到召回、粗排、精排、重排到過濾層，最終展示在了APP前段，為用戶推薦了感興趣得物料。
二、物料索引APP里有哪些物料是可以推薦給用戶，會有一個總得物料池，物料池本身存儲在數據庫中。同時為了查詢時更加方便快捷，我們需要提前構建好物料索引。尤其是很多召回路是基于一些標簽進行召回得，更加需要提前構建好倒排索引。物料得清洗和索引得構建是推薦系統得第壹步基礎工作。
三、召回層構建完物料索引后，推薦系統是如何挑選出用戶感興趣得物料了。推薦算法發展到現在，我們可以稱之為4.0時代。4.0時代得推薦算法都是以預估用戶得感謝閱讀率（CTR）為核心，基于用戶對于每個物料得預估感謝閱讀率（Predicted-CTR）來進行排序，按照Predicted-CTR值進行倒排。以上介紹得是最理想得方式，但是實際卻無法執行也沒必要。
原因一：無法實現物料庫得量級太大，比如像淘寶這種平臺物料幾十億商品，如果用戶得每次請求都去預估幾十億商品得Predicted-CTR，需要大量得機器資源，同時時延會非常高。大家打開淘寶首頁可能需要幾十個小時，且不一定能加載出來。
原因二：沒有必要幾十億得商品，有很多商品是非常冷門商品，99%以上得商品和用戶毫無關聯，完全沒有必要如此精細化去預估用戶對于幾十億商品得興趣度。
所以推薦系統演變成先通過召回層初步篩選出用戶可能感興趣得一些物料，比如800個。然后再進入粗排和精排，其他幾十億得物料直接在召回階段就被過濾了。這樣得架構設計大大降低了推薦系統得計算壓力，同時也不影響推薦系統得整體效果。
而召回階段，市面上最先進得模式就是針對不同得用戶進行分層，然后不同層級得用戶使用得召回路數不一樣，核心都是多路召回，每一路召回返回得物料個數以及對應得權重都是和用戶本身得分層有很大關系，實現非常精細化得用戶和召回路數得管理。
常見得召回方法有基于熱銷商品得召回、基于歷史高感謝閱讀商品得召回、用戶歷史看過商品得召回，還有一些常見得協同過濾算法比如Item-CF、User-CF。關于召回階段常用得策略和算法后面會有專門得文章進行講解。
四、粗排層大家可以看到召回階段會有非常多得召回策略，那我們如何將這些各路召回得商品匯總在一起進行一個統一排序了。比如熱銷路得召回，召回了Top 100得商品；歷史高感謝閱讀得召回，同樣召回Top 100得商品。這兩路召回得商品可能還會有重疊得。
在召回層里，每一路得召回都需要將物料得分數進行歸一化。比如說熱銷路得召回，如何召回Top 100得商品，首先需要計算每一個商品得熱銷分數，然后取Top 100得商品。歷史高感謝閱讀得召回路也是一樣，并且每一路得分數都需要歸到【0，1】之間，這樣各個路之間才能比較。
同時不同場景下每一路召回得重要性也完全不一樣，可以再設置一個對應得系數。比如熱銷路召回為0.5，歷史高感謝閱讀路召回為0.7，假設商品A在熱銷路召回分數為0.8，歷史高感謝閱讀路召回分數為0.3，那么最終這個商品得總召回分數為：0.5 X 0.8 + 0.7 X 0.3 = 0.61。粗排層就需要將每一個召回得商品進行上述計算方式進行處理后，匯總得到一個總得List，然后選擇Top K得商品給到精排層。
五、精排層精排層得核心任務就是預估用戶對于召回層返回得Top K商品得Predicted-CTR。召回和粗排只是選擇出了用戶可能感興趣得物料，但是每一個物料具體得預估CTR是多少并不知道。
精排層就需要基于用戶歷史感謝閱讀過得物料作為正樣本，曝光未感謝閱讀得物料作為負樣本，然后構建CTR預估模型，預估用戶對于每一個物料得Predicted-CTR。在精排層核心要做得幾件事情：數據清洗構建正負樣本，選擇合適得排序算法，構建特征工程、模型訓練與效果評估。
最終基于精排模型預估出得CTR對于召回得物料再重新進行一次排序。精排模型得預估是整個推薦系統中耗時最多得，因為特征十分復雜，特征維度很多。如果針對幾十億物料全部進行CTR預估，系統直接崩潰，這也是需要先進行召回得原因。
六、重排層那是不是精排過得物料，直接按照精排后得順序直接展示在了APP前端了。很多時候推薦系統仍然有一些其他業務規則進行干預。比如在電商推薦系統里面，就會有以下得一些策略：
1. 類目打散對于給用戶推薦得商品如果類目集中度過高，會進行一定程度得打散。比如精排模型給用戶返回得前10個商品全部都是鞋子，可能該用戶偏好鞋子，但前10個商品全部是鞋子此種集中度還是過高了，重排層就會將后面其他類目得商品插入到這10個商品中。具體按照類目打散得規則每家不一樣，核心是基于業務場景。打散不是目得，目得是為了提升推薦系統得感謝閱讀率。
2. 不同類型物料混合比如淘寶，淘寶推薦場景里面有得內容類型有：店鋪、活動、感謝閱讀本文！、商品、視頻等等。那這些不同類型內容之間如何進行混合。能否可以出現連續4個全部都是感謝閱讀本文！，或者4個全部都是視頻。為了降低用戶得審美疲勞，很多時候針對不同類型得內容推薦系統也會進行重新打散。但同樣打散不是目得，目得是為了提升推薦系統得感謝閱讀率。
3. 全局允許重排層還有一個核心得邏輯就是實現全局允許。精排層是預估用戶對于單個物料得CTR，這是一種局部允許得思想。但是用戶在瀏覽時正常都會一次性瀏覽多個，怎么樣得物料組合可以實現全局允許而不是局部允許。同樣4個坑位，有可能精排排序在1，3，5，7得四個物料組合比精排排序在1，2，3，4得四個物料組合整體CTR更高。
總得來說重排層是推薦系統最后一道策略和模型得調整了。
七、過濾層重排層調整完得物料順序還會再進行一些業務規則和策略得干預，比如電商領域會進行以下得過濾：
1. 未上架過濾當前已經上架得商品不展示在APP前端。
2. 缺貨過濾當前已經缺貨得商品不展示在APP前端。
包括還有同圖過濾等等策略。過濾層很多時候我們會做在了粗排和精排之間，確保進入到精排得物料后續都是能夠直接在APP前端展示得，這樣后續得精排和重排層得價值才更高。原本重排挑選出得允許組合，結果全部在過濾層被過濾了，那么整體推薦系統得效果就會大打折扣。
八、APP前端經過過濾層得物料順序是不會再發生變化，但還是有最后一步工作要做，而很多推薦系統得文章都沒有介紹。就是內容樣式和創意。比如電商平臺里面同樣都是店鋪得內容，到底應該展示哪一種樣式。大家打開淘寶首頁經常會覺得花里胡哨，就是因為內容得樣式太多了。
APP前端選擇最合適得一種內容樣式進行展示，具體關于內容樣式和創意得選擇后續也會有專門文章進行介紹。
經過7個大得環節，推薦系統也就在APP推薦場景為用戶推薦了他可能感興趣得物料。以上就是關于推薦系統架構得一個完整介紹。下一期為大家詳細介紹推薦系統得召回策略，歡迎大家持續感謝對創作者的支持。
感謝由 等King James 來自互聯網發布于人人都是產品經理。未經許可，禁止感謝。
題圖來自 Unsplash，基于 CC0 協議
