在上一節(jié)中我們介紹了深度學(xué)習(xí)可解釋性的三種方法：1. 隱層分析法，2. 敏感性分析法 3. 代理/替代模型法。在這一節(jié)中我們主要介紹種方法：隱層分析法。

1. 黑箱真的是黑箱嗎？——深度學(xué)習(xí)的物質(zhì)組成視角

通過上一節(jié)的介紹我們也了解到，深度學(xué)習(xí)的黑箱性主要來源于其G度非線性性質(zhì)，每個(gè)神經(jīng)元都是由上一層的線性組合再加上一個(gè)非線性函數(shù)的得到，我們無法像理解線性回歸的參數(shù)那樣通過非常solid的統(tǒng)計(jì)學(xué)基礎(chǔ)假設(shè)來理解神經(jīng)網(wǎng)絡(luò)中的參數(shù)含義及其重要程度、波動(dòng)范圍。但實(shí)際上我們是知道這些參數(shù)的具體值以及整個(gè)訓(xùn)練過程的，所以神經(jīng)網(wǎng)絡(luò)模型本身其實(shí)并不是一個(gè)黑箱，其黑箱性在于我們沒辦法用人類可以理解的方式理解模型的具體含義和行為，而神經(jīng)網(wǎng)絡(luò)的一個(gè)非常好的性質(zhì)在于神經(jīng)元的分層組合形式，這讓我們可以用物質(zhì)組成的視角來理解神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式。比如如下圖所示，人體的組成過程是從分子-細(xì)胞-組織-器官-系統(tǒng)-人體：

而通過一些對神經(jīng)網(wǎng)絡(luò)隱層的可視化我們也發(fā)現(xiàn)：比如下圖的一個(gè)人臉識別的例子，神經(jīng)網(wǎng)絡(luò)在這個(gè)過程中先學(xué)到了邊角的概念，之后學(xué)到了五官，后學(xué)到了整個(gè)面部的特征。

如果我們能夠用一些方法來幫助我們理解這個(gè)從低J概念到GJ概念的生成過程，那么就離理解神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)就近了很多。而這也可以逐漸幫助我們完成一個(gè)“祛魅”的過程，將調(diào)參的魔法真正變成一項(xiàng)可控、可解釋的過程。

要理解這個(gè)概念的生成過程很重要的一點(diǎn)就是要研究隱層的概念表示，在接下來的部分中我將給大家介紹業(yè)界關(guān)于隱層分析方法的幾個(gè)研究工作。

2. 模型學(xué)到了哪些概念？

要理解神經(jīng)網(wǎng)絡(luò)中每層都學(xué)到了哪些概念一個(gè)非常直觀的方法就是通過對隱層運(yùn)用一些可視化方法來將其轉(zhuǎn)化成人類可以理解的有實(shí)際含義的圖像，這方面一個(gè)非常具有代表性的一個(gè)工作就是14年ECCV的一篇經(jīng)典之作：《Visualizing and Understanding Convolutional Networks》，這篇文章主要利用了反卷積的相關(guān)思想實(shí)現(xiàn)了特征可視化來幫助我們理解CNN的每一層究竟學(xué)到了什么東西。我們都知道典型的CNN模型的一個(gè)完整卷積過程是由卷積-激活-池化（pooling）三個(gè)步驟組成的。而如果想把一個(gè)CNN的中間層轉(zhuǎn)化成原始輸入空間呢？我們就需要經(jīng)過反池化-反激活-反卷積這樣的一個(gè)逆過程。整個(gè)模型的結(jié)構(gòu)如下圖所示：