监督学习

分类算法和线性回归算法 线性函数：

\[F=wx+b \]

成本公式：

\[J(w,b)= {1\over 2m}\sum_{i=1}^m(\hat y^{(i)}-y^{(i)})^2 \]

当 \(J(w,b)\) 函数趋近于0时，所得到到线性函数就是最优的。

梯度下降法

渐变下降算法

\[w = w-\alpha{\delta\over \delta w}{J(w,b)} \] \[b = b-\alpha{\delta\over \delta b}{J(w,b)} \]

1. \(\alpha\) 代表学习率，通常是一个0-1的正数，如果 \(\alpha\) 很大，说明梯度下降的很快，如果很小，说明下降的幅度很小

非监督学习

聚类算法