Réseau neuronal sous forme de script - page 12

 
TheXpert писал (а) >>

Cependant, de nombreux problèmes sont résolus avec un perseptron à 5 couches, l'existence du théorème ne signifie pas qu'un perseptron à 3 couches est une panacée.

Elle indique simplement que tous les problèmes (à de très rares exceptions près) sont résolus par un perseptron à deux couches avec une couche cachée ! Oui, à propos de la terminologie, il semble que vous comptiez les nœuds d'entrée du SN (ceux qui ne contiennent pas de neurones) comme une couche, ce qui n'est pas mon cas.

Qu'est-ce qui est le mieux : utiliser un réseau 5-6-6-2 ou un remplacement à 3 couches de 5-25-2 ? Un nombre aussi élevé pourrait bien permettre d'assurer une non-linéarité adéquate.

J'utiliserais l'architecture X-Y-1 - elle résout le problème. Et j'ajustais expérimentalement le nombre de neurones dans une couche cachée Y en commençant par 2 et en augmentant jusqu'à ce que les propriétés de généralisation du réseau ne s'améliorent pas. D'après ma modeste expérience, pour de nombreuses implémentations pratiques, deux neurones dans cette couche sont suffisants. En augmentant le nombre de neurones, le temps d'apprentissage augmente, et en raison du nombre croissant de synapses, nous devons augmenter la taille de l'échantillon d'apprentissage ou la dimension d'entrée, ce qui entraîne le "traitement" d'informations insignifiantes ou la détérioration des propriétés d'approximation du SN (ces propriétés, selon Ezhov, tombent comme 1/d, où d est le nombre d'entrées) etc. etc. ce qui n'est pas bon.

Bien sûr, il est possible de construire un perseptron à dix couches et il fonctionnera... mais quel est l'intérêt ?

 
Neutron писал (а) >>

Il est simplement affirmé que tous les problèmes (à de très rares exceptions près) sont résolus par un perseptron à deux couches avec une seule couche cachée ! Oui, à propos de la terminologie, il semble que vous comptiez les nœuds d'entrée du SN (ceux qui ne contiennent pas de neurones) comme une couche, ce qui n'est pas mon cas.

J'utiliserais l'architecture X-Y-1 - elle résout le problème. Et je choisirais expérimentalement le nombre de neurones dans la couche cachée Y en partant de 2 et jusqu'à ce que les propriétés de généralisation du réseau ne s'améliorent pas. D'après ma modeste expérience, pour de nombreuses implémentations pratiques, deux neurones dans cette couche sont suffisants. En augmentant le nombre de neurones, le temps d'apprentissage augmente, et en raison du nombre croissant de synapses, nous devons augmenter la taille de l'échantillon d'apprentissage ou la dimension de l'entrée, ce qui entraîne le "traitement" d'informations insignifiantes ou la détérioration des propriétés d'approximation de NS (ces propriétés, selon Ezhov, tombent comme 1/d, où d est le nombre d'entrées) etc. etc. ce qui n'est pas bon.

Disons que nous avons 10 dans l'entrée. Est-ce que 2 dans la couche cachée est suffisant ? Je ne le crois pas, ça ne correspond pas à une tâche assez simple.

A propos de la couche d'entrée. Parfois, il vaut la peine de faire une couche d'entrée avec des seuils, il est donc préférable de la traiter comme une autre couche, comme une partie intégrante de l'ensemble du système.

 
sergeev писал (а) >>


Hmmm... y a-t-il un moyen de résumer cet optimum ? Et je me pose aussi la question pour les 5 et 3 plis. Où est la théorie ?



À propos de l'optimum - mon expérience personnelle, peut-être erronée. En ce qui concerne le nombre de couches, je l'ai rencontré dans la pratique. Cela dépend de la non-linéarité de la conversion entrée-sortie, la plupart des problèmes peuvent être résolus avec un réseau à 3 couches. A propos de la théorie, désolé, c'était il y a longtemps...

 
TheXpert писал (а) >>

Cependant, de nombreux problèmes peuvent être résolus par un perseptron à 5 couches, l'existence du théorème n'implique pas qu'un perseptron à 3 couches soit une panacée.


Qu'est-ce qui est le mieux, un réseau 5-6-6-2 ou un remplacement 5-25-2 à 3 couches ? Un nombre aussi important pourrait bien fonctionner pour une non-linéarité correcte.

Au fait, connaissez-vous l'architecture la plus convergente pour XORa ?


4 neurones au milieu -- sigmoïde


Il existe une solution analytique pour XOR-a :


outXOR = in1 + in2 - 2*in1*in2


où : les entrées in1 et in2 prennent des valeurs de 0 à 1


La convergence est instantanée.

 
Reshetov писал (а) >>


Pour XOR-a, il existe une solution analytique :


outXOR = in1 + in2 - 2*in1*in2


où : les entrées in1 et in2 prennent des valeurs de 0 à 1


La convergence est instantanée.

LOL, chaque fonction a une solution analytique, mais la trouver... Parfois, c'est très, très difficile.

J'ai donné cet exemple pour montrer une fois de plus qu'un perseptron à 3 couches n'est pas toujours la meilleure option.

 
TheXpert писал (а) >>

J'ai donné cet exemple pour montrer une fois de plus qu'un perseptron à 3 couches n'est pas toujours la meilleure option.

Ce problème peut également être résolu par un perseptron à 3 couches avec un seuil dans les neurones et le NS basé sur les fonctions radiales peut le traiter :

En général, il existe de nombreuses variantes, la tâche consiste à trouver celle qui convient.

 
Neutron писал (а) >>

Ce problème peut également être résolu par un perceptron à 3 couches avec seuil dans les neurones, et le NS basé sur les fonctions radiales peut le traiter :

En général, il existe de nombreuses variantes, la tâche consiste à trouver celle qui convient.

>> Merci pour la photo.

 
S'il vous plaît, donnez-moi ces livres. Ou qui sont les auteurs.
 
C'est de Haykin. Les détails se trouvent sur la page précédente du sujet.
 

Il y a une tâche spécifique qui consiste à écrire un scénario qui, à une profondeur donnée de l'histoire, produira une solution -...

Il est ensuite nécessaire de déterminer la configuration minimale spécifique du réseau et le nombre minimal d'entrées requises. Cela signifie qu'il est nécessaire de définir les termes de référence et ensuite le monde entier devrait se rendre compte qu'il existe un produit concret prêt à être attaché à un tableau et à voir le résultat. J'ai vu quelque chose de similaire sous la forme d'un neuro-indicateur sur le site de Klot .

http://www.fxreal.ru/forums/topic.php?forum=2&topic=1