A. 讓每一層的輸入的范圍都大致固定
B. 它將權(quán)重的歸一化平均值和標(biāo)準(zhǔn)差
C. 它是一種非常有效的反向傳播(BP)方法
D. 這些均不是

---

正確答案是：A， 您的選擇是：B
解析：

batch normalization 就是對數(shù)據(jù)做批規(guī)范化，使得數(shù)據(jù)滿足均值為0,方差為1的高斯分布。其主要作用是緩解DNN訓(xùn)練中的梯度消失/爆炸現(xiàn)象，加快模型的訓(xùn)練速度。 但是注意是對數(shù)據(jù)做批規(guī)范化，不是對權(quán)重。
BN的優(yōu)點：

1. 極大提升了訓(xùn)練速度，收斂過程大大加快；
2. 增加了分類效果，一種解釋是這是類似于Dropout的一種防止過擬合的正則化表達(dá)方式，所以不用Dropout或正則化也能達(dá)到相當(dāng)?shù)男Ч?#xff1b;
3. 簡化了調(diào)參過程，對于初始化參數(shù)權(quán)重不太敏感，允許使用較大的學(xué)習(xí)率

A. 神經(jīng)網(wǎng)絡(luò)會收斂
B. 不好說
C. 都不對
D. 神經(jīng)網(wǎng)絡(luò)不會收斂

---

正確答案是：D， 您的選擇是：B
解析：過大，說明不適合，梯度下降時，梯度會來回震蕩，神經(jīng)網(wǎng)絡(luò)不會收斂。

A.

B.

C.

D. 可能是A或B，取決于神經(jīng)網(wǎng)絡(luò)的權(quán)重設(shè)置

---

正確答案是：D， 您的選擇是：D
解析：不知道神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏差是什么，則無法判定它將會給出什么樣的輸出。

A. 沒聽說過
B. 是
C. 否
D. 不知道

---

正確答案是：C， 您的選擇是：C

解析：C，增加核函數(shù)的大小不一定會提高性能。這個問題在很大程度上取決于數(shù)據(jù)集。

A 對的
B 不知道
C 看情況
D 不對

---

正確答案是：D， 您的選擇是：D
解析：已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò), 各個神經(jīng)元已經(jīng)精雕細(xì)作完工, 對于全白圖片的輸入, 其層激活輸出給最后的全連接層的值幾乎不可能恒等, 再經(jīng)softmax轉(zhuǎn)換之后也不會相等, 所以"輸出結(jié)果為任何種類的等可能性一樣"也就是softmax的每項均相等, 這個概率是極低的。

A 其他選項都不對
B 沒啥問題，神經(jīng)網(wǎng)絡(luò)會正常開始訓(xùn)練
C 神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練，但是所有的神經(jīng)元最后都會變成識別同樣的東西
D 神經(jīng)網(wǎng)絡(luò)不會開始訓(xùn)練，因為沒有梯度改變

正確答案是：C， 您的選擇是：D
解析：

令所有權(quán)重都初始化為0這個一個聽起來還蠻合理的想法也許是一個我們假設(shè)中最好的一個假設(shè)了, 但結(jié)果是錯誤的，因為如果神經(jīng)網(wǎng)絡(luò)計算出來的輸出值都一個樣，那么反向傳播算法計算出來的梯度值一樣，并且參數(shù)更新值也一樣(w=w?α?dw)。更一般地說，如果權(quán)重初始化為同一個值，網(wǎng)絡(luò)即使是對稱的, 最終所有的神經(jīng)元最后都會變成識別同樣的東西。

A 改變學(xué)習(xí)速率，比如一開始的幾個訓(xùn)練周期不斷更改學(xué)習(xí)速率
B 一開始將學(xué)習(xí)速率減小10倍，然后用動量項(momentum)
C 增加參數(shù)數(shù)目，這樣神經(jīng)網(wǎng)絡(luò)就不會卡在局部最優(yōu)處
D 其他都不對

正確答案是：A， 您的選擇是：A
解析：選項A可以將陷于局部最小值的神經(jīng)網(wǎng)絡(luò)提取出來。

A 循環(huán)神經(jīng)網(wǎng)絡(luò)
B 感知機(jī)
C 多層感知機(jī)
D 卷積神經(jīng)網(wǎng)絡(luò)

正確答案是：D， 您的選擇是：D
解析：卷積神經(jīng)網(wǎng)絡(luò)將更好地適用于圖像相關(guān)問題，因為考慮到圖像附近位置變化的固有性質(zhì)。

A 對數(shù)據(jù)作歸一化
B 對數(shù)據(jù)取對數(shù)變化
C 都不對
D 對數(shù)據(jù)作主成分分析(PCA)和歸一化

---

正確答案是：D， 您的選擇是：D
解析：首先您將相關(guān)的數(shù)據(jù)去掉，然后將其置零。具體來說，誤差瞬間降低, 一般原因是多個數(shù)據(jù)樣本有強(qiáng)相關(guān)性且突然被擬合命中, 或者含有較大方差數(shù)據(jù)樣本突然被擬合命中. 所以對數(shù)據(jù)作主成分分析(PCA)和歸一化能夠改善這個問題。

感覺只使用BN就可以了，沒必要PCA

A 需要，這也許意味著神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率存在問題
B 不需要，只要在訓(xùn)練集和交叉驗證集上有累積的下降就可以了
C 不知道
D 不好說

---

正確答案是：B， 您的選擇是：B
解析：選項B是正確的，為了減少這些“起伏”，可以嘗試增加批尺寸(batch size)。具體來說，在曲線整體趨勢為下降時, 為了減少這些“起伏”，可以嘗試增加批尺寸(batch size)以縮小batch綜合梯度方向擺動范圍. 當(dāng)整體曲線趨勢為平緩時出現(xiàn)可觀的“起伏”, 可以嘗試降低學(xué)習(xí)率以進(jìn)一步收斂. “起伏”不可觀時應(yīng)該提前終止訓(xùn)練以免過擬合

我的理解是網(wǎng)絡(luò)在使用某一batch進(jìn)行梯度更新時，該batch內(nèi)的數(shù)據(jù)與其他數(shù)據(jù)偏差較大，導(dǎo)致梯度更新時的方向錯了。最終導(dǎo)致該epoch中的數(shù)據(jù)都被帶偏了，所以該epoch下Error率升高了。

1. 增加神經(jīng)網(wǎng)絡(luò)層數(shù), 可能會增加測試數(shù)據(jù)集的分類錯誤率
2. 減少神經(jīng)網(wǎng)絡(luò)層數(shù), 總是能減小測試數(shù)據(jù)集的分類錯誤率
3. 增加神經(jīng)網(wǎng)絡(luò)層數(shù), 總是能減小訓(xùn)練數(shù)據(jù)集的分類錯誤率

A 1
B 1 和 3
C 1 和 2
D 2

---

正確答案是：A， 您的選擇是：A
解析：深度神經(jīng)網(wǎng)絡(luò)的成功, 已經(jīng)證明, 增加神經(jīng)網(wǎng)絡(luò)層數(shù), 可以增加模型泛化能力, 即, 訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集都表現(xiàn)得更好. 但更多的層數(shù), 也不一定能保證有更好的表現(xiàn)（https://arxiv.org/pdf/1512.03385v1.pdf）. 所以, 不能絕對地說層數(shù)多的好壞, 只能選A

理論上層數(shù)越多模型的表示能力越強(qiáng)，但當(dāng)層數(shù)超出數(shù)據(jù)集的范圍后，會導(dǎo)致過擬合。

A 把除了最后一層外所有的層都凍結(jié)，重新訓(xùn)練最后一層
B 對新數(shù)據(jù)重新訓(xùn)練整個模型
C 只對最后幾層進(jìn)行調(diào)參(fine tune)
D 對每一層模型進(jìn)行評估，選擇其中的少數(shù)來用

---

正確答案是：C
解析：如果有個預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò), 就相當(dāng)于網(wǎng)絡(luò)各參數(shù)有個很靠譜的先驗代替隨機(jī)初始化.

• 若新的少量數(shù)據(jù)來自于先前訓(xùn)練數(shù)據(jù)(或者先前訓(xùn)練數(shù)據(jù)量很好地描述了數(shù)據(jù)分布, 而新數(shù)據(jù)采樣自完全相同的分布), 則凍結(jié)前面所有層而重新訓(xùn)練最后一層即可; -> 遷移學(xué)習(xí)
• 但一般情況下, 新數(shù)據(jù)分布跟先前訓(xùn)練集分布有所偏差, 所以先驗網(wǎng)絡(luò)不足以完全擬合新數(shù)據(jù)時, 可以凍結(jié)大部分前層網(wǎng)絡(luò), 只對最后幾層進(jìn)行訓(xùn)練調(diào)參(這也稱之為fine tune)。 -> fine tuning

A. (AB)C
B. AC(B)
C. A(BC)
D. 所以效率都相同

---

正確答案是：A

解析：

• 首先，根據(jù)簡單的矩陣知識，因為 A*B ， A 的列數(shù)必須和 B 的行數(shù)相等。因此，可以排除 B 選項
• 然后，再看 A 、 C 選項。在 A 選項中，m?n 的矩陣 A 和n?p的矩陣 B 的乘積，得到 m?p的矩陣 A*B ，而 A?B的每個元素需要 n 次乘法和 n-1 次加法，忽略加法，共需要 m?n?p次乘法運算。
• 同樣情況分析 A*B 之后再乘以 C 時的情況，共需要 m?p?q次乘法運算
• 因此， A 選項 (AB)C 需要的乘法次數(shù)是 m?n?p+m?p?q 。
• 同理分析， C 選項 A (BC) 需要的乘法次數(shù)是 n?p?q+m?n?q。

A 卷積神經(jīng)網(wǎng)絡(luò)
B 循環(huán)神經(jīng)網(wǎng)絡(luò)
C 全連接神經(jīng)網(wǎng)絡(luò)
D 選項A和B

---

正確答案是：D
解析：CNN卷積核卷積計算時可以重復(fù)用。 RNN序列的每個時間步的參數(shù)都是共享的。

正確答案是：B
解析：這是鞍點（Saddle Point）的梯度下降的經(jīng)典例子。另，本題來源于：https://www.analyticsvidhya.com/blog/2017/01/must-know-questions-deep-learning/。