统计学习笔记第4章朴素贝叶斯法.md 李航

朴素贝叶斯法

朴素贝叶斯法是典型的生成学习方法。

生成方法由训练数据学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y|X)。具体来说，利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布：

$$P(X,Y)＝P(Y)P(X|Y)$$

概率估计方法可以是极大似然估计或贝叶斯估计

朴素贝叶斯法的基本假设是条件独立性

$$
P(X=x|Y=c_k) = P(X^{(1)}=x^{(1)},…,X^{(n)}=x^{(n)},|Y=c_k)\
= \prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)
$$
这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易于实现。其缺点是分类的性能不一定很高。

朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。

$$
P(Y|X) = \dfrac {P(X,Y)}{P(X)} = \dfrac {P(X|Y)P(Y)}{P(X)}
=\dfrac {P(X|Y)P(Y)}{\sum_{Y} P(X|Y)P(Y)}
$$

将输入x分到后验概率最大的类y。后验概率最大等价于0-1损失函数时的期望风险最小化。

$$
y = \mathop{argmax} \limits_{C_k} { P(Y=C_k) \prod_{j=1}^n P(X^{(j)}= x^{(j)} |Y=C_k)}
$$