神经网络。来自专家的问题。 - 页 19

 

出现了一个 "小 "问题。

如果我们将相同的训练实例(TS)送入同一个网络,但在训练前用随机权重进行初始化。

那么每次网络的训练方式都可能不同,在同一个测试样本上的结果也不同。

使用了FANN库

决定检查一下统计6在类似情况下会有什么表现?

而在这里,具有相同架构的网络会产生不同的结果。

为了说明问题,我选择了两个结果最不同的网络。你可以看到,他们的表现正好相反。


激活阈值的图表证实,这两个网络在同一个OP上的训练是完全不同的。

(所有网络的完整结果和所有样本的数据都附在后面)


...............................................

对如何实现神经网络学习过程的稳定性有什么建议吗?

附加的文件:
[删除]  
lasso:

一个 "小 "问题出现了.....

网络每次的训练方式不同,对同一测试样本的结果也不同....。

你能告诉我如何实现神经网络训练过程的稳定性吗?


所以这是一个问题)许多方法被用于训练NS,但所有这些方法都与直接的蛮力不同,这是可以理解的。而所有这些人都有一个共同的基本缺点:瘫痪或卡在一个局部的极端。除了提高学习机制/算法的质量和增加学习时间(学习的历时数)外,没有通用的解决方案。而在每一种情况下,它的解决方式都不同。
 
lasso:

你能告诉我如何在神经网络的学习过程中实现稳定性吗?

使用GAs。
 
lasso:


你能告诉我如何在神经网络的学习过程中实现稳定性吗?


SVM。

两个班的例子。

可能的分界线.... MLP BP将找到其中一个,并停止.....

至于SVM。

这个模型将始终找到一个单一的分割面....

或如上面建议的GA....

好运....

 
Figar0:

所以这是一个问题)许多方法被用于训练NS,但所有这些方法,由于明显的原因,都与直接的蛮力不同。而他们都有一个共同的基本缺点:瘫痪或陷于局部的极端状态。除了提高学习机制/算法的质量和增加学习时间(学习的历时数)外,没有通用的解决方案。而在每一种情况下,它的解决方式都不同。

如果是关于卡在一个局部极值,那么我认为在这种情况下,结果应该都是 "好 "的,而且只在一定范围内有差异--"更好"、"更坏"。

但不能大幅改变测试结果!"。 你明白吗?

以下是1个月测试期的运行结果。

-9337

+5060

+14522

+7325

+12724

-3475

+10924

-9337

+5060

-3475

-9337

-3475

................................

在这里,外国同志们建议应用网络委员会

但我不认为这是最好的解决办法......

特别是,让我提醒你,问题中提出的OP数据,是很容易用线性方法分离的。

而以NS的形式找到一个简单而稳定的解决方案是否不可能。

 

我不明白关于GA的问题,它适用于搜索什么?

...............

也就是说,应用GA不是在NS之外,而是代替它们?

 
lasso:

我不明白关于GA的问题,它适用于搜索什么?

...............

也就是说,应用GA不是在NS之外,而是代替它们?


GAs可以选取NS的权重,任何东西都可以作为健身函数......。在我的记忆中,你可以寻找EMA GA...
但说实话,我不明白这个GA对你有什么帮助,它也可以停在不同的位置......就像NS一样......。

而在一般情况下,说实话,这是一个正常的现象,只要他们没有太大差异......

 
lasso:

如果是关于卡在一个局部极值,那么我认为在这种情况下,结果应该都是 "好 "的,而且只在一定范围内有差异--"更好"、"更坏"。

但不能大幅改变测试结果!"。 明白了吗?


在这里,很可能网络不是训练过度而是训练不足。其原因显然是没有足够好的架构。

虽然可能存在过度训练--如果网络结构过度冗余,并且初始化是随机的,那么网状结构每次都可能卡在不同的极端,因此结果有很大差异

 
alsu:

在这里,很可能网络不是过度训练而是训练不足。其原因似乎是缺乏高质量的建筑。

虽然可能存在过度训练--如果网络结构过度冗余,并且初始化是随机的,那么网状结构每次都可能卡在不同的极端,因此结果有很大差异

你需要提供什么数据或结果,以便你能具体地确定障碍是什么?
 

还有一件事。我对当前网络输出范围的 "狭窄性 "感到震惊。要澄清的是。

-- MLP网络是1-7-1

-- 网络输出在[0;1]范围内均匀分布,训练实例中的输出由数值1和-1表示。

如果在训练后,整个输入值的范围 通过网络,我们会发现网络的输出位于一个非常狭窄的范围内。比如说。

opt_max_act=-0.50401336 opt_min_act=-0.50973881 step=0.0000286272901034

或即使如此

opt_max_real=-0.99997914 opt_min_real=-0.99999908 step=0.00000010

.............................

这到底对不对?