机器学习中的数学基础
目录
机器学习中的数学基础
对于想入门机器学习的同学，很多时候都会觉得数学基础是一道坎，所以，本文将讲述机器学习中所涉及的数学基础。
数学是基石，算法是利器，编程是工具 。三者对于机器学习都很重要。机器学习中大量的问题最终都可以归结为一个优化问题，而微积分、概率、线性代数和矩阵是优化的基础。所以，下面将以四个方面来叙述机器学习中的数学基础。
1.微积分重点
1.1 导数
导数的定义：
f
′
(
a
)
=
lim
h
→
0
f
(
a
h
)
−
f
(
a
)
h
常见函数的导数
导数求导法则
1.2 梯度和Hessian矩阵
梯度：
Hessian矩阵
1.3 泰勒级数与极值
泰勒级数展开（标量）
若存在
f
′
(
x
k
)
=
0
，则称
x
k
为平稳点。此时，如果
f
′′
(
x
k
)
0
，则称
x
k
为严格局部极小点，如果
f
′′
(
x
k
)
<
0
，则称
x
k
为严格局部极大点。如果
f
′′
(
x
k
)
=
0
，则
x
k
有可能是一个鞍点。
泰勒级数展开（矢量）
2.概率论重点
2.1 随机变量
累积分布函数
概率密度函数
2.2 高斯分布
概率密度函数
2.3 贝叶斯公式
概念
贝叶斯公式作为机器学习中最重要的公式，所以一定得理解它。贝叶斯公式所解决的问题就是由P(A|B)求解出P(B|A)，如果此时，我们把A当做机器学习中的标记值，把B当做特征值。那么，从贝叶斯的角度解释机器学习为：已知许多已知标签的特征值，求得一组新的特征值所表示的标记值。
公式：
3.矩阵重点
3.1 方阵的特征值与特征向量
定义
性质
3.2 二次型
概念
3.3 特征分解的应用-PCA
PCA本质
PCA例子
4.凸优化重点
约束优化问题
约束优化问题存在极值点的必要条件-KKT条件
到此，就叙述完机器学习中十分重要的数学基础了。其中，文中的截图均来至于参考文献。
参考文献
【1】5月深度学习班-程博士