统计学习笔记第1章统计学习方法概论 李航

三要素

• 模型
• 策略
• 方法

#生成方法与判别方法

• 生成模型：由联合概率分布$P(X,Y)$,求条件概率分布$P(Y|X)$,即为
  $$P(Y|X)=\frac{P(X,Y)}{P(X)}$$
  模型表示了给定输入$X$，产生输出$Y$的生成关系。典型的有：朴素贝叶斯法， 隐马尔科夫模型。

• 特点：

  • 可以还原出联合概率分布$P(X,Y)$，而判别方法不能。
  • 收敛速度快
  • 可以包含隐变量

• 判别方法
  由数据直接学习决策函数$f(X)$或条件概率分布$P(Y|X)$，作为预测的模型。关心的是给定$X$，应给预测什么样的$Y$。典型的有：k近邻、感知机、决策树、逻辑斯谛回归、最大熵模型、支持向量机、提升方法、条件随机场

• 特点：

  • 准确率高
  • 可以对数据进行各种程度上的抽象、定义特征并使用特征，简化学习问题