PRML Ch.1 课后习题解答

warning 注意
本内容只是作为个人复习《模式识别》课程的备份，因此习题解答仅完成前五题。由于需要将手写解答转换成Tex文稿，因此该项目并无稳定更新计划。
解答解答仅供参考，如有纰漏，可以评论或联系lizou0807@gmail.com。

1.1 ($\star$)

思考一下(1.2)中给出的平方和误差函数，其中函数$y(x,\boldsymbol{\mathrm{w}})$为(1.1)中的多项式。证明使得误差函数最小的系数$\boldsymbol{\mathrm{w}}={w_i}$是如下线性方程组的解：

$$\begin{equation}
\sum_{j=0}^M A_{ij}w_j = T_i \tag{1.122}
\end{equation}$$

其中，
$$\begin{equation}
A_{ij}=\sum_{n=1}^{N}(x_n)^{i+j}, T_i = \sum_{n=1}^N (x_n)^i t_n \tag{1.123}
\end{equation}$$
以上等式中，$i$和$j$作为下标出现时表示向量分量的索引序数，而$(x)^i$这样的写法表示$x$的$i$次方。

$\textcolor{red}{\textbf{解：}}$根据(1.1)，
$$
y(x_n,\boldsymbol{\mathrm{w}})=\sum_{j=0}^Mw_jx_n^j
$$
于是将其带入(1.2)中，有：
$$
E(\boldsymbol{\mathrm{w}})=\frac{1}{2}\sum_{n=1}^N\left\{\sum_{j=0}^Mw_jx_n^j-t_n \right\}^2
$$
对$w_i$求导，则
$$
\begin{split} \frac{\partial E(\boldsymbol{\mathrm{w}})}{\partial w_i} &= \frac{1}{2} \sum_{n=1}^N 2 \left\{ \sum_{j=0}^Mw_jx_n^j-t_n \right\}\frac{\partial\left(\sum_{j=0}^Mw_jx_n^j-t_n\right)}{\partial w_i} \\ &= \sum_{n=1}^N\left\{ \sum_{j=0}^Mw_jx_n^j-t_n\right\}x_n^i \\ &= \sum_{n=1}^N\sum_{j=0}^M\left\{w_jx_n^{i+j}-x_n^it_n\right\} \end{split}$$
令$\partial E(\boldsymbol{\mathrm{w}})/\partial w_i=0$，稍作调整：
$$
\sum_{j=0}^M \sum_{n=1}^Nx_n^{i+j}w_j=\sum_{n=1}^Nx_n^i t_n
$$
即题目中欲证明的等式，证毕。

1.2 ($\star$)

写出一组形如(1.122)的线性方程组，要求使得(1.4)中的正则化平方和误差函数最小化的系数$w_i$满足该方程组。

$\textcolor{red}{\textbf{解：}}$本题的步骤与1.1几乎完全一致，只是最后结果多了一项，当且仅当$i=j$时， $$ \sum_{j=0}^M\left[\sum_{n=1}^N(x_n)^{i+j}+\lambda\right]w_j=\sum_{n=1}^N(x_n)^it_n $$ 否则 $$ \sum_{j=0}^M\left[\sum_{n=1}^N(x_n)^{i+j}\right]w_j=\sum_{n=1}^N(x_n)^it_n $$ 故可将最后结果写成 $$ \sum_{j=0}^M \widetilde{A}_{ij}w_j = T_i $$ 其中 $$ \widetilde{A}_{ij}=A_{ij}+\lambda I_{ij} $$ $I$为单位矩阵。

1.3 ($\star \ \star$)

假设现在有3个不同颜色的箱子，分别为$r$(红色)，$b$(蓝色)和$g$(绿色)。箱子$r$里有3个苹果，4个橙子和3个酸橙；箱子$b$里有1个苹果和1个橙子，没有酸橙；箱子$g$里有3个苹果，3个橙子和4个酸橙。现在要在其中选择一个箱子，然后随机从中拿走一个水果，假如选择到这几个箱子的概率分别是$p(r)=0.2$，$p(b)=0.2$和$p(g)=0.6$，拿到箱子中每个水果的可能性都相等，那么拿到一个苹果的可能性是多少？假设我们已经得知拿到的水果是一个橙子，那么它来自于绿色箱子的概率是多少？

$\textcolor{red}{\textbf{解：}}$$$ p(apple)=0.2 \times\frac{3}{3+4+3} + 0.2 \times \frac{1}{1+1} + 0.6 \times \frac{3}{3+3+4} = 0.34 $$ $$ p(g|orange)=\frac{p(orange|g)p(g)}{p(orange)}=\frac{0.6 \times \frac{3}{10}}{0.2\times\frac{4}{10}+0.2 \times \frac{1}{2} + 0.6 \times \frac{3}{10}}=\frac{1}{2} $$

1.4 ($\star \ \star$)

假设有一个定义在连续变量$x$上的概率密度函数$p_x(x)$，并且进行了一个非线性变换$x=g(y)$，那么概率密度的变换是根据公式(1.27)得到的。对(1.27)微分，证明由于Jacobian因子的关系，使得$y$的概率密度取得最大值的$\hat{y}$与使得$x$的概率密度取得最大值的$\hat{x}$通常不会是一个简单的函数关系$\hat{x}=g(\hat{y})$。这表明了一个事实：与简单的函数相比，概率密度函数的最大值与变量的选择是相关的。请证明在线性变换下，概率密度函数最大值取值位置的变换关系与变量变换的关系是相同的。