"New Neural" est un projet de moteur de réseau neuronal Open Source pour la plateforme MetaTrader 5. - page 36

 
LeXpert:

EMNIP, le cognitron représente quelque chose de similaire.

J'attends avec impatience la suite :)

La même chose que le cognitron de Fukishima. HMAX et cognitron décrivent assez fidèlement la fonctionnalité des différentes couches du cortex visuel.
 
LeXpert:

Nous avons besoin d'informations sur

-Descente du gradient conjugué

-BFGS

Au cours de ma carrière, j'ai étudié en détail presque toutes les méthodes de formation des réseaux à propagation directe. Je suis sûr que la méthode Levenberg-Marcadt est la meilleure(https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm) parmi les descentes de gradient. Il trouve toujours de meilleurs minima que toutes sortes de BACKPROP et RPROP et même plus rapidement. Ce que j'ai posté sur BPNN (une sorte de RPROP) est un jeu d'enfant comparé à LM. Le BFGS prend plus de temps et le résultat n'est pas meilleur que LM.
Levenberg–Marquardt algorithm - Wikipedia, the free encyclopedia
Levenberg–Marquardt algorithm - Wikipedia, the free encyclopedia
  • en.wikipedia.org
The LMA interpolates between the Gauss–Newton algorithm (GNA) and the method of gradient descent. The LMA is more robust than the GNA, which means that in many cases it finds a solution even if it starts very far off the final minimum. For well-behaved functions and reasonable starting parameters, the LMA tends to be a bit slower than the GNA...
 

Je vais maintenant essayer de présenter mon idée de construire des réseaux neuronaux pour l'analyse des modèles de prix. Ceux qui ont lu mes conférences 2 et 3 comprendront immédiatement. L'idée est de classer les modèles de prix par Achat, Vente ou Conservation. Le prix à une certaine période de temps (disons 100 barres) est filtré par une couche de neurones S1 simples. Les poids d'entrée de ces neurones décrivent les caractéristiques des impulsions des filtres. Dans l'exemple du cortex visuel, ces poids décrivaient des segments rectilignes de pente et de longueur variables dans un espace d'image bidimensionnel. Dans les cotations, nous avons également un espace à deux dimensions : le temps et le prix. Nous pouvons supposer que les poids du filtre S1 décrivent deux segments rectilignes dans l'espace temps-prix : la hausse et la baisse. L'angle de pente dépend de la longueur de chaque filtre. Ces longueurs peuvent être présélectionnées, par exemple 4, 8, 16, 32 barres. Chaque filtre est une ligne droite, normalisée de sorte que la somme de toutes les valeurs soit égale à zéro et que la somme des carrés soit égale à 1 (ou autre normalisation). Dans la couche suivante, que nous appellerons S2, des motifs plus complexes sont formés à partir de sections de la couche S1, et ainsi de suite. Le résultat de cette transformation multicouche des cotations, nous avons un code numérique qui décrit le modèle actuel, les codes des modèles qui sont similaires les uns aux autres mais étendus dans le temps et le prix de différentes manières sont les mêmes. Ces codes alimentent les entrées de la machine vectorielle de soutien (SVM) qui est entraînée à identifier les conditions d'achat, de vente ou de maintien sur des modèles historiques. Le problème ici est de déterminer la forme des filtres dans les couches S1, S2, etc. J'ai choisi des sections droites et leurs combinaisons pour plus de simplicité. D'ailleurs, dans le modèle HMAX du cortex visuel, toutes les formes de filtres spatiaux sont présélectionnées sur la base d'expériences biologiques. Nous devons trouver un algorithme pour détecter automatiquement ces filtres. De tels algorithmes ont déjà été développés pour la couche visuelle V1 (von der Malsburg, Linsker, Miller, LISSOM, Olshausen). Nous pouvons les emprunter pour notre tâche de classification des modèles de prix.

 
gpwr:
Au cours de ma carrière, j'ai étudié en détail presque toutes les méthodes de formation des réseaux à propagation directe. Je suis sûr que, parmi les méthodes de descente de gradient, la méthode Levenberg-Marcadt est la meilleure(https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm). Il trouve toujours de meilleurs minima que toutes sortes de BACKPROP et RPROP et même plus rapidement. Ce que j'ai posté sur BPNN (une sorte de RPROP) est un jeu d'enfant comparé à LM. Le BFGS prend plus de temps et le résultat n'est pas meilleur que LM.

Je suis d'accord ! Dans NeuroSolutions, par exemple, la méthode Levenberg-Marcadt converge là où les autres méthodes s'arrêtent à des minima locaux,

Cependant, LM nécessite des ressources informatiques importantes. Le temps par passage est plus long

 
gpwr:

...

Chaque filtre est une ligne droite normalisée de sorte que la somme de toutes les valeurs soit égale à zéro et que la somme des carrés soit égale à 1 (ou autre normalisation).

...

Je n'ai pas de preuve maintenant, mais mon intuition me dit que cette double condition est incohérente,

la somme est 0 et la somme des carrés est 1

seront remplies pour un nombre très restreint de choix. Si je me trompe, donnez-moi un coup de pied.

 
Urain:

Je n'ai pas de preuve pour le moment, mais mon intuition me dit que cette double condition est contradictoire,

la somme est 0 et la somme des carrés est 1

sera exécuté pour un nombre très restreint de choix. Si je me trompe, donnez-moi un coup de pied.

Non, ce n'est pas contradictoire. Par exemple, un filtre à 2 barres avec des valeurs de -0,707 et +0,707 satisfait aux conditions de normalisation. L'avantage de la première condition (la somme des carrés est égale à zéro) est que nous n'avons pas besoin de retirer la moyenne des citations. La deuxième condition (somme des carrés égale à zéro) vous permet de limiter la somme de prix1*filtre1+prix2*filtre2 (c'est la sortie de notre filtre) dans une certaine plage. Le problème est maintenant de définir des valeurs de filtre (filter1,filter2,...,filterN) de longueur arbitraire N. Il est possible de choisir une ligne droite tendue entre -filtreMAX et +filtreMAX, mais ce serait une simplification. Avec plus de précision, le filtre sera similaire à la composante principale des citations (PCA). Mais cela ne serait pas efficace. Il est plus intéressant de rechercher la forme du filtre en tant que composantes indépendantes de citations (ICA) en imposant une condition de nombre minimum de ces composantes (condition de sparsité). Plus tard, j'exposerai la conférence 4 où je vous expliquerai tout.
 
LeXpert:

Compris. Mais lié spécifiquement à NN. Il sera lié à NN.

J'ai peur que ce soit quelque chose comme "AWVREMGVTWNN" :) J'ai peur que ça ne soit pas du genre "AWVREMGVTWNN" :), l'essentiel est d'en saisir l'essentiel.

Meta Neuro Solution ?
 
Meta Neuro Engine (MNE)
 
gpwr:
Meta Neuro Engine (MNE)

Meta EngiNeuro (MEN) (c)

cela fait de nous des ingénieurs :)

 
Cool. Je l'aime bien.
Raison: