统计学习笔记第2章感知机 李航

感知机是二类分类的线性分类模型。输出+1或-1.

感知机模型

输入空间是 $\chi \subseteq R^n$,输出空间$y={+1,-1}$. 由输入空间到输出空间的如下函数成为感知机：

$$
\begin{equation}
f(x)=sign(w\cdot x+b)
\end{equation}
$$
感知机模型对应于输入空间（特征空间）中的分离超平面$w·x+b＝0$。

感知机学习的策略是极小化损失函数。损失函数对应于误分类点到分离超平面的总距离。
$$
\min \limits_{w,b} L(w,b) = - \sum_{x_i \in M} {y_i(w·x_i+b)}
$$

感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法