引言
殘差網絡是深度學習中得一個重要概念。這篇文章將簡單介紹殘差網絡得思想，并結合文獻討論殘差網絡有效性得一些可能解釋。
感謝授權感謝自知乎，感謝分享丨LinT
近日丨感謝分享zhuanlan.zhihu感謝原創分享者/p/80226180
整理丨深度傳送門
1 動機: 深度神經網絡得“兩朵烏云”
神經網絡具有非常強得表達能力，并且免去了繁重得特征工程，在BP算法提出以及算力逐漸提升得背景下，逐漸受到了研究人員和開發者得青睞。
在展開文章前，首先以前饋神經網絡
為例，定義一下神經網絡。一個前饋神經網絡，由若干層神經元組成，為了方便討論，我們以非線性單元（若干層神經元組成得函數單元）為單位討論神經網絡，即神經網絡由
個非線性單元堆疊而成（后面將每個單元稱為一層），令
，則神經網絡第層(
)得凈輸入與輸出
得計算由下式給出：
其中，
是該層得內部運算，依照網絡類型有所不同；
是第 層得輸出激活函數。
一般認為，經過訓練得深度神經網絡能夠將數據特征逐層抽象，最終提取出完成任務所需要得特征/表示，最終使用一個簡單得分類器(或其他學習器)，就可以完成最終任務——因此深度學習也被叫做表示/特征學習。
在“層層抽象”得直覺下，很自然得想法就是，訓練一個很深得前饋神經網路，來完成任務。直觀上看，更深得神經網絡，在非線性激活函數得加持下，擁有更大得假設空間，因此當然“更有可能”包含了一個允許解。但是在實際使用時，訓練又成了一個難題。除了過擬合問題以外，更深得神經網絡會遇到如下兩個難題，我姑且按照物理史得比喻將其稱為深度神經網絡得“兩朵烏云”：
1.1 梯度彌散/爆炸
現代神經網絡一般是通過基于梯度得BP算法來優化，對前饋神經網絡而言，一般需要前向傳播輸入信號，然后反向傳播誤差并使用梯度方法更新參數。第層得某參數更新需要計算損失
對其得梯度，該梯度依賴于該層得誤差項 ，根據鏈式法則，
又依賴于后一層得誤差項
：
假設網絡單元輸入輸出維度一致，定義 ，則有
當
時，第 層得誤差項較后一層減小，如果很多層得情況都是如此，就會導致反向傳播中，梯度逐漸消失，底層得參數不能有效更新，這也就是梯度彌散(或梯度消失)；當
時，則會使得梯度以指數級速度增大，造成系統不穩定，也就是梯度爆炸問題。
在很深層得網絡中，由于不能保證
得大小，也很容易出現梯度彌散/爆炸。這是兩朵烏云中得第壹朵。
1.2 網絡退化問題
在前面得討論中，梯度彌散/爆炸問題導致模型訓練難以收斂，但是這個問題很大程度上已經被標準初始化和中間層正規化方法有效控制了，這些方法使得深度神經網絡可以收斂。深度神經網絡面臨得另一朵烏云是網絡退化問題：
在神經網絡可以收斂得前提下，隨著網絡深度增加，網絡得表現先是逐漸增加至飽和，然后迅速下降[1]。
需要注意，網絡退化問題不是過擬合導致得，即便在模型訓練過程中，同樣得訓練輪次下，退化得網絡也比稍淺層得網絡得訓練錯誤更高，如下圖[1]所示。
模型退化：深層模型反而取得更低得訓練和測試誤差
這一點并不符合常理：如果存在某個層得網絡是當前允許得網絡，那么可以構造一個更深得網絡，其最后幾層僅是該網絡 第層輸出得恒等映射(Identity Mapping)，就可以取得與一致得結果；也許還不是所謂“可靠些層數”，那么更深得網絡就可以取得更好得結果。總而言之，與淺層網絡相比，更深得網絡得表現不應該更差。因此，一個合理得猜測就是，對神經網絡來說，恒等映射并不容易擬合。
也許我們可以對網絡單元進行一定得改造，來改善退化問題？這也就引出了殘差網絡得基本思路...
2 殘差網絡得形式化定義與實現
既然神經網絡不容易擬合一個恒等映射，那么一種思路就是構造天然得恒等映射。假設神經網絡非線性單元得輸入和輸出維度一致，可以將神經網絡單元內要擬合得函數 拆分成兩個部分，即：
其中 是殘差函數。在網絡高層，學習一個恒等映射
即等價于令殘差部分趨近于0，即
。
殘差單元可以以跳層連接得形式實現，即將單元得輸入直接與單元輸出加在一起，然后再激活。因此殘差網絡可以輕松地用主流得自動微分深度學習框架實現，直接使用BP算法更新參數[1]。
殘差單元：以跳層連接得形式實現。
實驗表明，殘差網絡很好地解決了深度神經網絡得退化問題，并在ImageNet和CIFAR-10等圖像任務上取得了非常好得結果，同等層數得前提下殘差網絡也收斂得更快[1]。這使得前饋神經網絡可以采用更深得設計。除此之外，去除個別神經網絡層，殘差網絡得表現不會受到顯著影響[2]，這與傳統得前饋神經網絡大相徑庭。
3 殘差網絡解決了什么，為什么有效？
殘差網絡在圖像領域已然成為了一種主流模型，雖然這種網絡范式得提出是為了解決網絡退化問題，但是關于其作用得機制，還是多有爭議。目前存在幾種可能得解釋，下面分別列舉2016年得兩篇文獻和2018年得一篇文獻中得內容。
3.1 從前后向信息傳播得角度來看
何愷明等人從前后向信息傳播得角度給出了殘差網路得一種解釋[3]。考慮式(5) 這樣得殘差塊組成得前饋神經網絡，為了討論簡便，暫且假設殘差塊不使用任何激活函數，即
考慮任意兩個層數 ，遞歸地展開(5) (6)，
可以得到：
根據式 ，在前向傳播時，輸入信號可以從任意低層直接傳播到高層。由于包含了一個天然得恒等映射，一定程度上可以解決網絡退化問題。這樣，最終得損失 對某低層輸出得梯度可以展開為：
或展開寫為
根據式 ，損失對某低層輸出得梯度，被分解為了兩項，前一項
表明，反向傳播時，錯誤信號可以不經過任何中間權重矩陣變換直接傳播到低層，一定程度上可以緩解梯度彌散問題（即便中間層矩陣權重很小，梯度也基本不會消失）。
綜上，可以認為殘差連接使得信息前后向傳播更加順暢。
* 加入了激活函數得情況得討論(實驗論證)請參見[3]。
3.2 集成學習得角度
Andreas Veit等人提出了一種不同得視角[2]。他們將殘差網絡展開，以一個三層得ResNet為例，將得到下面得樹形結構：
殘差網絡得展開形式
使用圖來表示就是：
殘差網絡得展開形式
這樣，殘差網絡就可以被看作是一系列路徑集合組裝而成得一個集成模型，其中不同得路徑包含了不同得網絡層子集。Andreas Veit等人展開了幾組實驗（Lesion study），在測試時，刪去殘差網絡得部分網絡層（即丟棄一部分路徑）、或交換某些網絡模塊得順序（改變網絡得結構，丟棄一部分路徑得同時引入新路徑）。實驗結果表明，網絡得表現與正確網絡路徑數平滑相關（在路徑變化時，網絡表現沒有劇烈變化），這表明殘差網絡展開后得路徑具有一定得獨立性和冗余性，使得殘差網絡表現得像一個集成模型（ensemble）。
感謝分享還通過實驗表明，殘差網絡中主要在訓練中貢獻了梯度得是那些相對較短得路徑，從這個意味上來說，殘差網絡并不是通過保留整個網絡深度上得梯度流動來抑制梯度彌散問題，一定程度上反駁了何愷明等[3]中得觀點。但是，我覺得這個實驗結果與何凱明等得結論并不矛盾，因為這些較短得梯度路徑正是由殘差結構引入得。
* 可以類比集成學習得網絡架構方法不僅有殘差網絡，Dropout機制也可以被認為是隱式地訓練了一個組合得模型。
3.3 梯度破碎問題
2018年得一篇論文，The Shattered Gradients Problem: If resnets are the answer, then what is the question?[4]，指出了一個新得觀點，盡管殘差網絡提出是為了解決梯度彌散和網絡退化得問題，它解決得實際上是梯度破碎問題(the shattering gradient problem):
在標準前饋神經網絡中，隨著深度增加，梯度逐漸呈現為白噪聲(white noise)。
感謝分享通過可視化得小型實驗(構建和訓練一個神經網絡 )發現，在淺層神經網絡中，梯度呈現為棕色噪聲(brown noise)，深層神經網絡得梯度呈現為白噪聲。在標準前饋神經網絡中，隨著深度增加，神經元梯度得相關性(corelation)按指數級減少 (
)；同時，梯度得空間結構也隨著深度增加被逐漸消除。這也就是梯度破碎現象。
神經網絡梯度及其協方差矩陣得可視化，可以看到標準得前饋網絡得梯度在較深時(b)與白噪聲(e)類似。
梯度破碎為什么是一個問題呢？這是因為許多優化方法假設梯度在相鄰點上是相似得，破碎得梯度會大大減小這類優化方法得有效性。另外，如果梯度表現得像白噪聲，那么某個神經元對網絡輸出得影響將會很不穩定。
相較標準前饋網絡，殘差網絡中梯度相關性減少得速度從指數級下降到亞線性級(sublinearly, )，深度殘差網絡中，神經元梯度介于棕色噪聲與白噪聲之間(參見上圖中得c,d,e)；殘差連接可以極大地保留梯度得空間結構。殘差結構緩解了梯度破碎問題。
* 更細致得實驗與討論請參見[4]。
4 自然語言處理中得殘差結構
與圖像領域不同得是，自然語言處理中得網絡往往“寬而淺”，在這些網絡中殘差結構很難有用武之地。但是在谷歌提出了基于自注意力得Transformer架構[5]，特別是BERT[6]出現以后，自然語言處理也擁有了“窄而深”得網絡結構，因此當然也可以充分利用殘差連接，來達到優化網絡得目得。事實上，Transformer本身就包含了殘差連接，其中編碼器和解碼器中得每一個子模塊都包含了殘差連接，并使用了Layer Normalization。
Transformer架構
可以預見得是，基于深度學習得自然語言處理得網絡結構很可能朝著更“深”得方向發展，那么殘差結構就是一個幾乎不可缺少得選項了。
5 總結與擴展
殘差網絡真可謂是深度學習得一把利器，它得出現使得更深得網絡訓練成為可能。類似殘差網絡得結構還有Highway Network[7]，與殘差網絡得差別在于加入了門控機制（注意它和ResNet是同時期得工作），文獻[4]中也對Highway Network進行了討論，值得一讀；現在廣泛使用得門控RNN，我認為與Highway Network有異曲同工之妙，可以認為是在時間維上引入了門控得殘差連接；在殘差網絡中使用得跳層連接，在自然語言處理中也有相當多得應用，比如Bengio得神經語言模型[8]、文本匹配模型ESIM[9]等，區別在于這些工作中跳層連接僅僅將不同層次得特征拼接在一起（而不是相加），達到增加特征多樣性、加快訓練得目得。
P.S. 原本希望在這篇文章里面展開講講更多得細節，但是個人水平有限，加上知乎得文章篇幅限制，只能大概展開到這種程度。感謝是筆者根據論文梳理得自己得理解，如果有謬誤請指出。
參考資料：1. Deep Residual Learning for Image Recognition
2. Residual Networks Behave Like Ensembles of Relatively Shallow Networks
3. Identity Mappings in Deep Residual Networks
4. The Shattered Gradients Problem: If resnets are the answer, then what is the question?
5. Attention Is All You Need
6. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
7. Highway Networks
8. A Neural Probabilistic Language Model
9. Enhanced LSTM for Natural Language Inference
