Rede neural sob a forma de um roteiro - página 11
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
"mudança no número de neurônios nas camadas".
Número de neurônios em camadas
1. O mesmo:
2. diferente:
a) aumento do número de camadas a camadas;
b) diminuir de uma camada para outra.
c) aumentar (diminuir) a relação?
O produto do número de entradas pelo tamanho da amostra de treinamento (número de padrões) deve ser igual ao quadrado dos pesos NS.
Estou um pouco assustado com esta figura. Este é mesmo um número mínimo para o funcionamento normal ou um número ótimo?
Em outras palavras, se eu der um vetor de 20 valores na entrada e tiver o número total de vetores de pelo menos 50000, isso significa que o número de pesos na rede não deve ser inferior a Sqrt(20*50000)=1000? Eu estou certo?
Uma pergunta ligeiramente reformulada de Andy_Kon.
Já vi exemplos de redes que estão organizadas em um princípio de onda, por exemplo, 20-50-10-1 ou 20-40-1. Ou seja, há uma expansão da rede no meio. (o número de neurônios da camada oculta é várias vezes maior do que a camada de entrada).
Dos testes das minhas malhas cheguei à conclusão de que as camadas mais escondidas de neurônios, o aprendizado vai mais suavemente e o resultado é meio que manchado na saída. Se, por exemplo, 20-20-1, então a rede encontra a solução mais afiada e produz valores afiados nas saídas.
Se, por exemplo, algum princípio teórico e prático de número ideal de neurônios em camadas ocultas, dependendo do número de neurônios de entrada.
Obrigado.
"mudança no número de neurônios nas camadas".
Número de neurônios em camadas
1. O mesmo:
2. diferente:
a) aumento do número de camadas a camadas;
b) diminuir de uma camada para outra.
c) aumentar (diminuir) a relação?
Bem, eu dei uma ligação a um teorema, segundo o qual uma camada oculta é suficiente.
É por isso que todos os problemas enumerados desaparecem naturalmente. Outra coisa é se você decidiu diminuir a dimensionalidade dos insumos usando o método de componentes principais não lineares ou usar NS híbridos com camada competitiva... mas então as perguntas também têm que ser apropriadas.
Estou um pouco intimidado com esta figura. Este é mesmo o número mínimo para o funcionamento normal ou o ideal?
Ou seja, se eu pegar um vetor de 20 valores e tiver o número total de vetores de pelo menos 50000, significa que toda a rede de pesos deve conter não menos que Sqrt(20*50000)=1000? Está certo?
Correto.
Aqui está um link para o livro de Ezhov e Shumsky "Neurocomputing" onde esta questão é estudada de forma superficial (inteligível).
Qual é a dependência da dimensionalidade e "estratificação" da rede em relação ao número de padrões (patters)?
1. A camada oculta deve ser maior do que a camada de entrada por pelo menos 1 elemento, caso contrário as informações sobre a camada oculta serão comprimidas, o que não ajuda em nada o resultado.
2. Considere o número de parâmetros a serem ajustados. Se o número de parâmetros exceder o número de padrões, você corre o risco de ter uma rede super-treinada. Deve haver mais padrões. Você pode reduzir o tamanho da rede enquanto a rede está aprendendo.
Uma pergunta ligeiramente reformulada de Andy_Kon.
Já vi exemplos de redes que estão organizadas de acordo com o princípio da onda, por exemplo, 20-50-10-1 ou 20-40-1. Ou seja, há uma expansão da rede no meio. (o número de neurônios da camada oculta é várias vezes maior do que a camada de entrada).
Dos testes das minhas malhas cheguei à conclusão de que as camadas mais escondidas de neurônios, o aprendizado vai mais suavemente e o resultado é meio que manchado na saída. Se, por exemplo, 20-20-1, então a rede encontra a solução mais afiada e produz valores afiados nas saídas.
Se, por exemplo, algum princípio teórico e prático de número ideal de neurônios em camadas ocultas, dependendo do número de neurônios de entrada.
Obrigado.
Melhor ainda, 20-21-1
Ou melhor ainda, 20-21-1
A propósito, também notei que a camada oculta não torna o número de neurônios um múltiplo da camada de entrada. >> Por quê?
Bem, eu dei um link para o teorema que diz que uma camada oculta é suficiente.
Assim, todos os problemas acima desaparecem naturalmente. Outra coisa é se você decidiu reduzir a dimensionalidade dos insumos usando o método de componentes principais não lineares ou usar NS híbridos com camada competitiva... mas então as perguntas devem ser apropriadas.
No entanto, muitos problemas são resolvidos por um perseptron de 5 camadas, a existência do teorema não significa que um perseptron de 3 camadas seja uma panaceia.
O que é melhor -- usando uma rede 5-6-6-2 ou um substituto de 3 camadas de 5-25-2 ? Um número tão grande poderia muito bem funcionar para uma não-linearidade adequada.
A propósito, você conhece a arquitetura mais convergente para XORa?
4 neurônios médios -- sigmoidais
A propósito, também notei que o número de neurônios na camada oculta não é um múltiplo da camada de entrada. >> Por quê?
Na minha experiência, quanto mais perto da entrada, melhor. 21 é ideal para 20 entradas.
Em minha prática, quanto mais perto da entrada, melhor, 21 -- ideal para 20 entradas
Hmmm... há alguma maneira de resumir este ótimo. E sobre as de 5 e 3 dobras eu também me pergunto. Onde está a teoria?