混合神经网络。 - 页 16

[gumgum]

我想自己知道!

[RIP]

gumgum >> :
我想亲自了解一下!

Kgm ...我想我知道 :)当我第一次实施RPRop时，我遇到了一种情况，即误差开始增长，dEdW值（梯度）上升到+Inf。

限制学习次数，比如10-15次，或者在代码中引入梯度顶值的检查，我有这样的代码。

如果(Math::Abs(this->dEdW[j][k][i])< 10e-25)
{
this->dEdW[j][k][i] = 0。
}

这意味着该算法遇到了一个局部最小值，或者我们正在处理网络再训练。

[gumgum]

所以我明白了，从训练集中输入所有的例子，为每个dedw计算，然后用dedw除以训练例子的数量，这就是批处理模式的工作方式吗？

[Denis Timoshin]

gumgum >> :
我的理解是，我们通过计算每一个dedw来送入训练集的所有例子，然后用dedw除以训练例子的数量。 批量模式是这样工作的吗？

这种算法的缺点是，它是离散的

[RIP]

gumgum >> :
所以，我的理解是，从训练集中输入所有的例子，计算每个dedw的总和，然后用dedw除以训练例子的数量？ 批量模式是这样工作的吗？

是的，但不要混淆单个神经元的局部梯度和dEdW--你有多少个局部梯度就有多少个神经元，在dEdW中你有多少个与函数阈值有关的突触连接。

[RIP]

dentraf >> :

>> 这种算法的缺点是它是离散的。

嗯...你说的离散是什么意思？这种算法在一些问题上并不比任何梯度方法差。它不如准牛顿方法或说LMA。但它比简单的梯度更快。

[Denis Timoshin]

rip >> :

嗯...什么是离散性的意思？这种算法在一些问题上并不比任何梯度方法差。它不如准牛顿方法或说LMA。但它比简单的梯度工作得更快。

我没有说什么速度问题)。

[Petro Mohyla]

一个神经网络--我明白了。你如何准备它？你在什么样的数据上运行它？间歇期？

[gumgum]

谢谢大家!

[gumgum]

rip писал(а)>>

嗯...什么是离散性的意思？这种算法在一些问题上并不比任何梯度方法差。它不如准牛顿方法或说LMA。但它比简单的梯度工作得更快。

关于准牛顿和LMA方法的更多细节。