脚本形式的神经网络 - 页 11

 

"层中神经元数量的变化"

层中的神经元数量

1.相同。

2.不同。

a) 数量上逐层增加。

b) 从一层到另一层的减少。

c) 增加(减少)比率?

 
Neutron писал (а)>>

输入的数量与训练样本的大小(模式的数量)的乘积应该等于NS权重的平方。

我对这个数字有点害怕。这甚至是正常运行的最低数量还是最佳数量?

换句话说,如果我在输入端给了一个20个值的向量,并且向量的总数至少为50000,这意味着网中的权重数必须不低于Sqrt(20*50000)=1000?对吗?

 

Andy_Kon的问题稍作调整。

我见过按照波浪原理组织网络的例子。例如,20-50-10-1或20-40-1。就是说,中间有一个网络的扩展。(隐藏层的神经元数量比输入层大几倍)。

通过对我的网格的测试,我得出的结论是,神经元的隐藏层越多,学习就越顺利,而结果是在输出上有点涂抹。例如,如果是20-20-1,那么该网络就能更敏锐地找到解决方案,并在输出端产生敏锐的数值。

例如,如果根据输入神经元的数量,隐蔽层中神经元的最佳数量的任何理论和实践原则。

谢谢你。

 
Andy_Kon писал (а)>>

"层中神经元数量的变化"

层中的神经元数量

1.相同。

2.不同。

a) 数量上逐层增加。

b) 从一层到另一层的减少。

c) 增加(减少)比率?

嗯,我给了一个定理的链接,根据这个定理,一个隐藏层就足够了。

这就是为什么所有列举的问题都自然消失。另一件事是,如果你决定使用非线性主成分法降低输入的维度,或使用具有竞争层的混合NS...但是,问题也必须是适当的。

sergeev 写道(a)>>

我有点被这个数字吓到了。这甚至是正常运行的最低数量或最佳数量吗?

也就是说,如果我取一个20个值的向量,并且向量总数至少为50000,这意味着整个权重网络应该包含不少于Sqrt(20*50000)=1000?这样做对吗?

正确。

这里有Ezhov和Shumsky的书 "神经计算 "的链接,其中对这个问题进行了浅显的研究(理解)。

 
Andy_Kon писал (а)>>
网络的维度和 "分层 "与模式(patters)的数量有什么关系?

1.隐蔽层必须比输入层至少大1个元素,否则隐蔽层的信息会被压缩,这对结果完全没有帮助。

2.考虑到要调整的参数数量。如果参数的数量超过了模式的数量,你就有可能得到一个过度训练的网络。一定有更多的模式。你可以在网络学习时减少网络的大小。

 
sergeev писал (а)>>

Andy_Kon的问题稍作调整。

我见过按照波浪原理组织网络的例子。例如,20-50-10-1或20-40-1。就是说,中间有一个网络的扩展。(隐藏层的神经元数量比输入层大几倍)。

通过对我的网格的测试,我得出的结论是,神经元的隐藏层越多,学习就越顺利,而结果是在输出上有点涂抹。例如,如果是20-20-1,那么该网络就能更敏锐地找到解决方案,并在输出端产生敏锐的数值。

例如,如果根据输入神经元的数量,隐蔽层中神经元的最佳数量的任何理论和实践原则。

谢谢你。

更好的是,20-21-1

 
TheXpert писал (а)>>

或者更好的是,20-21-1

顺便说一句,我还注意到,隐藏层并没有使神经元的数量成为输入层的倍数。>> 为什么?

 
Neutron писал (а)>>

嗯,我给了一个定理的链接,说一个隐藏层就够了。

因此,上述所有问题自然消失。另一件事是,如果你决定使用非线性主成分法降低输入的维度,或使用具有竞争层的混合NS...但是,问题必须是适当的。

尽管如此,许多问题都是由5层perseptron解决的,该定理的存在并不意味着3层perseptron就是万能的。


哪个更好 -- 使用5-6-6-2网络或3层的5-25-2的替代?这样一个大的数字很可能对适当的非线性起作用。

顺便问一下,你知道XORa最趋同的架构吗?

0 ----
 \     \
  0 ----0 --->
 /     /
0 ----

4个中间的神经元------正弦波

 
sergeev писал (а)>>

顺便说一下,我还注意到,隐藏层的神经元数量不是输入层的倍数。>> 为什么?

根据我的经验,离输入端越近越好。对于20个输入端来说,21个是最佳的。

 
TheXpert писал (а)>>

在我的实践中,越靠近输入端越好,21--最佳为20个输入端。


嗯......有什么办法可以总结出这个最佳方案吗。而关于5层和3层的,我也想知道。理论在哪里?