误差逆传播算法

2021-01-02

误差逆传播算法

给定如下结构的前馈全连接神经网络：

网络结构图

符号约定

输入样本 $\pmb x\in \mathbb{R}^d$，即神经网络输入层有 $d$ 个神经元。

输出 $\pmb y \in \mathbb{R}^l$，即神经网络输出层有 $l$ 个神经元。

输入层有 $q$ 个神经元，第 $h$ 个隐藏层神经元输入 $\alpha_h$，阈值 $\gamma_h$。输入层第 $i$ 个神经元到隐藏层第 $h$ 个神经元的权重 $v_{ih}$，第 $h$ 个隐藏层神经元输出为 $b_h$。

$\alpha_h = \sum_{i=1}^d v_{ih}x_i\tag{1}$ $b_h = f(\alpha_h - \gamma_h)\tag{2}$

输出层有 $l$ 个神经元，第 $j$ 个神经元的输入 $\beta_j$，阈值为 $\theta_j$，隐藏层第 $h$ 个神经元到输出层第 $j$ 个神经元的权重为 $w_{hj}$，第 $j$ 个输出层神经元的输出为 $\hat y_j$ 。

$\beta_j = \sum_{h=1}^qw_{hj}b_h\tag{3}$ $\hat y_j = f(\beta_j - \theta_j) \tag{4}$

给定第 $k$ 个样本 $(\pmb x_k,\pmb y_k)$，神经网络输出为 $\hat {\pmb y_k}=(\hat y_1^k,\hat y_2^k,…,\hat y_l^k)$。

定义损失函数为均方误差函数，那么第 $k$ 个样本的损失为

$E_k = \frac{1}{2}\sum_{j=1}^l(\hat y_j^k - y_j^k)^2\tag{5}$

假设 $f$ 为 $Sigmod$ 函数。

$f(x) = \frac{1}{1 + e^{-x}}\tag{6}$ $f^\prime(x) = f(x)(1-f(x))\tag{7}$

具体推导

隐藏层到输出层权重 $w_{hj}$ 的更新公式

根据网络结构图我们注意到有如下关系：

$w_{hj} \rightarrow \beta_j \rightarrow \hat y_j \rightarrow E$

所以，根据链式求导法则，有：

$\frac{\partial E_k}{\partial w_{hj}} = \frac{\partial E_k}{\partial \hat y_j^k}\frac{\partial \hat y_j^k}{\partial \beta_j}\frac{\partial \beta_j}{\partial w_{hj}}\tag{8}$

现在就一步一步求三个偏导就好了。

首先求 $\frac{\partial E_k}{\partial \hat y_j^k}$。根据公式 $(5)$，有

$\frac{\partial E_k}{\partial \hat y_j^k} = (\hat y_j^k - y_j^k)\tag{9}$

接着求 $\frac{\partial \hat y_j^k}{\partial \beta_j}$。根据公式 $(4)，(7)$有：

$\frac{\partial \hat y_j^k}{\partial \beta_j} = f(\beta_j+\theta_j)(1-f(\beta_j+\theta_j))\tag{10}$

将公式 $(4)$ 带入 $(10)$中可得：

$\frac{\partial \hat y_j^k}{\partial \beta_j} = \hat y_j^k(1-\hat y_j^k)\tag{11}$

最后求 $\frac{\partial \beta_j}{\partial w_{hj}}$。根据公式 $(3)$，有：

$\frac{\partial \beta_j}{\partial w_{hj}} = b_h\tag{12}$

综上，结合公式$(9),(11),(12)$，带入$ (8)$ 中，可得：

$\frac{\partial E_k}{\partial w_{hj}} =\hat y_j^k(\hat y_j^k - y_j^k)(1-\hat y_j^k)b_h\tag{13}$

另外，我们定义 $g_j$ ：

$g_j =-\frac{\partial E_k}{\partial \hat y_j^k}\frac{\partial \hat y_j^k}{\partial \beta_j} = \hat y_j^k(y_j^k-\hat y_j^k)(1 - \hat y_j^k) \tag{14}$

最后，隐藏层到输出层 $w_{hj}$ 的更新公式为：

$w_{hj}^{(t+1)} = w_{hj}^{(t)} + \eta g_jb_h\tag{15}$

其中，$\eta$ 为学习率。注意定义 $g_j$ 时已经取过负号了。

输入层到隐藏层权重 $v_{ih}$ 的更新公式

根据网络结构图，我们可知有如下关系：

$v_{ih}\rightarrow \alpha_h \rightarrow b_h \rightarrow \beta_1,\beta_2,...,\beta_l \rightarrow \hat y_1,\hat y_2,...,\hat y_l \rightarrow E$

因此，

$\frac{\partial E_k}{\partial v_{ih}} = (\sum_{j=1}^l \frac{\partial E_k}{\partial \hat y_j^k}\frac{\partial \hat y_j^k}{\partial \beta_j}\frac{\partial \beta_j}{\partial b_h})\frac{\partial b_h}{\partial \alpha_h}\frac{\partial \alpha_h}{\partial v_{ih}}\tag{16}$

根据公式 $(1),(2)$有

$\frac{\partial \alpha_h}{\partial v_{ih}} = x_i\tag{17}$ $\frac{\partial b_h}{\partial \alpha_h} = f^\prime(\alpha_h-\gamma_h) = b_h(1-b_h)\tag{18}$

根据公式$(3),(14)$，有

$\frac{\partial \beta_j}{\partial b_h} = w_{hj}\tag{19}$ $\frac{\partial E_k}{\partial \hat y_j^k}\frac{\partial \hat y_j^k}{\partial \beta_j} = -g_j\tag{20}$

综上，

$\frac{\partial E_k}{\partial v_{ih}} = \sum_{j=1}^l g_jw_{hj}(b_h-1)b_h x_i\tag{21}$

另外，我们定义 $e_h$

$e_h = -\sum_{j=1}^l \frac{\partial E_k}{\partial \hat y_j^k}\frac{\partial \hat y_j^k}{\partial \beta_j}f^\prime(\alpha_h - \gamma_h)\tag{22}$

最后，输入层到隐藏层权重 $v_{ih}$ 的更新公式为：

$v_{ij}^{(t+1)} = v_{ij}^{(t)} +\epsilon e_hx_i \tag{23}$

同样的，$\epsilon$ 为学习率。

阈值 $\theta_j$、$\gamma_h$ 的更新公式

$\theta_j \rightarrow \beta_j \rightarrow \hat y_j \rightarrow E$

注意到与 $w_{hj}$ 完全相同（仅仅是将$w_{hj}$换成了 $\theta_j$ ），所以有：

$\theta_j^{(t+1)} = \theta^{(t)}+\eta g_j \tag{24}$

同理，

$\gamma_h^{(t+1)} = \gamma_h^{(t+1)} +\eta e_h\tag{25}$

习题

hm1

观察发现：

$v_{11} \rightarrow \beta_1 \rightarrow \hat y_1 \rightarrow E$

由此：

$\frac{\partial E_k}{\partial v_{11}} = \frac{\partial E_k}{\partial \hat y_1^k}\frac{\partial \hat y_1^k}{\partial \beta_1}\frac{\partial \beta_1}{\partial v_{11}}$ $\frac{\partial E_k}{\partial \hat y_1^k} = (\hat y_1^k - y_1^k)$ $\frac{\partial \hat y_1^k}{\partial \beta_1} =f^\prime(\beta_1-\theta_1)=\hat y_1(1-\hat y_1)$ $\frac{\partial \beta_1}{\partial v_{11}} = b_1$

其中 $b_1$ 为隐藏层第一个神经元的输出。综上，有：

$\frac{\partial E_k}{\partial v_{11}} = \hat y_1(\hat y_1^k - y_1^k)(1-\hat y_1)b_1$

发现与公式$(14)$一致。

类似的，

$\frac{\partial E_k}{\partial v_{21}} =\hat y_2(\hat y_2^k - y_2^k)(1-\hat y_2)b_1$

观察$u_{11}$，有如下关系：

$u_{11} \rightarrow \alpha_1 \rightarrow b_1 \rightarrow \beta_1,\beta_2\rightarrow \hat y_1,\hat y_2\rightarrow E$

所以有：

$\frac{\partial E_k}{\partial u_{11}} = \sum_{j=1}^2\frac{\partial E_k}{\partial \hat y_j}\frac{\partial \hat y_j}{\partial \beta_j}\frac{\partial \beta_j}{b_1}\frac{\partial b_1}{\partial \alpha_1}\frac{\partial \alpha_1}{\partial u_{11}}$

带入可得：

$\frac{\partial E_k}{\partial u_{11}} = \sum_{j=1}^2g_jw_{1j}(b_1-1)b_1x_1$ $g_j=\hat y^k_j(1-\hat y_j^k)(\hat y_j^k-y_j^k)$

其中，$w_{1j}$表示隐藏层第 $1$ 个神经元到输出层第 $j$ 个神经元的连接权重。

参考文献

周志华，机器学习