机器学习需要用到的数学知识

1 四月 2023, 06:20
Ziheng Zhuang
0
135

机器学习需要用到的数学知识: 线性代数,微积分,数理统计

一. 机器学习中使用了很多线性代数知识,包括以下几个方面:

1. 矩阵和向量的基本操作:机器学习中的数据通常被表示成矩阵或向量形式,因此对于矩阵和向量的基本操作,如矩阵乘法、矩阵加法、向量内积等,需要有一定的了解和掌握。

2. 线性方程组的求解:机器学习中许多问题都可以转化为求解一个线性方程组,如最小二乘法、PCA等,因此需要了解如何求解线性方程组,包括高斯消元法、LU分解等方法。

3. 特征值和特征向量:在机器学习中,经常需要对数据进行降维或者特征提取,这时候就需要用到特征值和特征向量的概念,如PCA、SVD等算法。

4. 矩阵的奇异值分解(SVD):SVD是机器学习中常用的矩阵分解方法,可以对矩阵进行降维、压缩和去噪等处理,是许多机器学习算法的核心。

5. 矩阵的逆、伪逆:在机器学习中,经常需要对矩阵求逆或伪逆,如正则化、最小二乘法等,因此需要了解如何计算矩阵的逆或伪逆。

总之,线性代数交易中的数学: 交易仓结果的评估是机器学习的重要数学基础,对于理解机器学习算法的原理和实现,以及进行数据处理和分析等工作都非常重要。


二. 机器学习中用到了许多微积分的知识,包括以下几个方面:

1. 导数:导数是微积分的基础概念之一,机器学习中许多算法,如梯度下降法、牛顿法等,都涉及到导数的概念。

2. 偏导数:偏导数是多元函数中的导数,机器学习中的损失函数通常是多元函数,需要求偏导数来优化模型。

3. 梯度:梯度是向量值函数在某一点处导数的一种推广,机器学习中的梯度下降法、牛顿法等都涉及到梯度的概念。

4. 链式法则:链式法则是微积分中的一种运算规则,它描述了复合函数的导数与其组成部分导数的关系,机器学习中许多复杂的模型都可以看做是复合函数,需要用到链式法则。

5. 积分:积分是微积分的另一个基础概念,机器学习中的贝叶斯方法、核方法等都涉及到积分的概念。

6. 拉格朗日乘子法:拉格朗日乘子法是一种常用的优化方法,在机器学习中经常用来求解约束最优化问题,它涉及到约束条件的导数和拉格朗日函数的求导等微积分知识。

总之,微积分是机器学习的基础数学理论,对于理解机器学习算法的原理和实现,以及进行模型优化和求解等工作都非常重要。


三. 机器学习中用到了数理统计的很多知识,下面列举一些常见的应用:

1. 概率分布:机器学习中经常使用概率分布来描述随机变量的分布情况,例如正态分布、伯努利分布、泊松分布等。掌握这些概率分布的性质和应用,对于理解和应用机器学习算法非常重要。

2. 统计假设检验:机器学习中通常需要对数据进行假设检验,以确定一些关键性质是否具有统计显著性。例如,假设检验可以用来判断两个数据集之间是否存在显著的差异,或者用来验证一个机器学习模型是否显著优于另一个模型。

3. 统计推断:统计推断是一种根据数据进行推理的方法,它可以帮助我们从有限的样本中推断总体的特征。例如,机器学习中的参数估计就是一种统计推断的方法,它可以用来估计模型参数的值,从而使模型更好地拟合数据。

4. 方差和偏差分析:机器学习中常常需要对模型的预测能力进行评估和优化。方差和偏差分析是一种方法,它可以帮助我们理解模型的预测误差是由模型本身的复杂度还是由数据本身的噪声所导致的。

5. 最大似然估计:最大似然估计是一种常见的参数估计方法,它可以用来估计模型参数的值。在机器学习中,最大似然估计常常用于训练模型,从而使得模型能够更好地拟合数据。

总的来说,数理统计在机器学习中扮演着非常重要的角色。掌握数理统计的基本概念和方法,对于理解和应用机器学习算法是至关重要的。


数理统计参考资料:

1. MQL5 中的矩阵和向量操作 https://www.mql5.com/zh/articles/10922

2. MQL5 中的矩阵和向量  https://www.mql5.com/zh/articles/9805

3. MQL5 中的统计分布 - 充分利用 R 并使其更快 https://www.mql5.com/zh/articles/2742


机器学习资料:

1. 如何掌握机器学习  https://www.mql5.com/zh/articles/10431

2. 神经网络: 智能交易系统自我优化  https://www.mql5.com/zh/articles/2279

3. 神经网络变得轻松(第二十七部分):深度 Q-学习(DQN)  https://www.mql5.com/zh/articles/11369

4.  强化学习中的随机决策森林 https://www.mql5.com/zh/articles/3856    https://www.mql5.com/zh/code/22915


如何评估一个交易系统:

1. 交易中的数学: 交易仓结果的评估  https://www.mql5.com/zh/articles/1492

2. 交易中的数学:夏普(Sharpe)和索蒂诺(Sortino)比率  https://www.mql5.com/zh/articles/9171


To be continued...




在社交网络与好友分享: