L'étiquette du marché ou les bonnes manières dans un champ de mines - page 19

 
paralocus >> :

Voilà qui est plus pertinent :

1. Une autre possibilité d'infecter le système consiste à introduire une entrée aléatoire supplémentaire dans un neurone ou un groupe de neurones - l'organe.

2. L'"organe" peut être représenté comme un groupe spécialisé de neurones avec une rétroaction universelle - c'est-à-dire que chaque neurone de l'organe "sait" ce que contient la sortie de tout autre neurone de son groupe (organe ou famille), et chaque groupe est conscient de ce que contient la sortie de l'organe. Un tel SN sera capable d'une auto-adaptation dynamique et le besoin d'apprentissage sera l'une de ses dominantes - c'est-à-dire que le système pourra rechercher et généraliser les connaissances dont il a besoin de manière délibérée et auto-motivée. Notre tâche consistera à lui dresser des obstacles et à éparpiller des bribes de connaissances ici et là - :)

Une impasse : si tout est fait correctement (dans l'organisation et l'entraînement du réseau), après un certain nombre d'itérations d'entraînement, le corps sera isolé.


Autre chose : "infecter" le processus d'apprentissage en introduisant une composante aléatoire relativement faible dans la règle delta, cela augmentera le taux d'apprentissage dans certains cas, et permettra également de sortir efficacement des minima locaux. C'est une méthode qui a déjà fait ses preuves.

 
TheXpert >> :

Une impasse - si tout est fait correctement (dans l'organisation et la formation du réseau), alors après un certain nombre d'itérations de formation, le corps sera isolé.



Tu ne le fais pas bien...

Un organe est un organe pour que le foie n'interfère pas avec la fonction de la rate. Le réseau n'isolera pas tous les organes car il s'agit pour lui d'une réduction d'entropie critique - la "mort".

Eh bien, si quelque chose tombe, ce n'était pas nécessaire.

 
paralocus писал(а) >>

Le thème principal de ce fil de discussion, j'ai déjà eu l'occasion de l'apprécier ! - :) Tu es un génie et je ne plaisante pas !

J'ai une idée. Très probablement un nouveau. La nuit dernière, j'ai eu un "court-circuit"... à tous les niveaux de mon réseau neuronal personnel).

Le fait est que j'ai étudié l'homme toute ma vie, et pas seulement dans le contexte de sa réalisation sociale et personnelle - car tout cela est "surface" - mais en tant que phénomène holistique de l'être et "vaisseau de la conscience". Aujourd'hui, en une nuit, tout ce qui a été accumulé pendant de nombreuses années a été systématisé (auto-organisé), passant d'une simple collection ordonnée de faits et d'hypothèses à une intégrité à part entière.

Je ne peux pas cacher mon excitation ! Oh, eh bien... C'était une digression lyrique.

L'idée est simple :

Pour accroître la robustesse des SN, quelle que soit leur échelle ou leur objet, il faut essayer de les infecter... les infecter. Un virus est certainement fatal pour la logique déterministe d'une machine de Turing. Pour la NS et l'intelligence artificielle, avec une application appropriée et "dosée", il peut s'avérer n'être qu'une "eau vive". Maintenant, parlons-en un par un :

1. Tous les organismes vivants sont l'essence même des réseaux neuronaux. Cette affirmation peut sembler trop audacieuse, mais c'est un fait phénoménologique.

2. Tous les organismes vivants sont placés dans un environnement agressif dans le but d'apprendre - nous appelons cela l'évolution. Il suffit de se rappeler que l'évolution des formes s'accompagne d'une évolution continue des consciences individuelles incarnées dans ces formes. La conscience elle-même est un effet de la complexité du système (réseau neuronal), et son "Planck" évolutif - :), je suppose - est le rapport entre la complexité du système et l'entropie du système.

3. Les systèmes dont l'entropie est tombée en dessous d'une certaine limite s'éteignent car ils sont incapables d'évoluer davantage ; en revanche, les systèmes dont l'entropie a dépassé une certaine limite s'autodétruisent également. D'où la conclusion suivante : pour qu'un système puisse évoluer avec succès, son entropie doit périodiquement, pendant une certaine période, atteindre les valeurs maximales admissibles dans le système donné. Un tel état de fait est appelé "maladie". En disant le mot "maladie", je l'entends dans un sens assez large - un criminel d'apparence tout à fait saine est un homme malade. Seulement, ce n'est pas son corps qui est malade, mais son esprit et la douleur qu'il reçoit, la plupart du temps pas sous forme de fièvre ou de grippe, mais sous forme de ce qu'on appelle une "lourde croix", le "destin", etc. Cependant, cette douleur "sociale" qu'ils reçoivent est une sorte d'influence pédagogique du continuum évolutif - élevant l'entropie de la créature à des limites difficilement supportables. Cela soulève une question philosophique sur l'enseignant et ses objectifs... qui, cependant, dépasse largement le cadre de notre discussion sur le forum - :)

4. ceux qui survivent - ont développé une immunité - au sens large - c'est-à-dire non seulement contre les germes pathogènes et sociaux, mais ce qui est encore plus important pour l'évolution - transactionnelle externe et transactionnelle interne.

5. Dans tout système vivant, il existe de tels "germes" qui le tueront sûrement si son immunité est suffisamment affaiblie. Pourquoi la nature a-t-elle fait ça ? Exactement dans le but d'augmenter la capacité du même système à résister aux facteurs de l'environnement par un "entraînement" interne constant du système pour la survie et, par conséquent, pour avoir plus de possibilités (temps) de poursuivre l'évolution individuelle.

6. Supposons que la tâche d'un système évolutif soit de développer l'immunité (dans tous les sens du terme). Il s'avère alors une chose intéressante : le nombre d'entrées des SN vivants ainsi que le nombre de sorties (encore moins) est ridiculement petit par rapport au nombre de leurs neurones et connexions ! C'est-à-dire que nous augmentons fortement le nombre de neurones dans la couche intermédiaire (s'il y a trois couches - entrée, cachée et sortie), et nous pouvons maintenant essayer d'"infecter" le SN. Cela peut être fait en introduisant une erreur aléatoire mesurée pendant la correction des poids ! Et en allant un peu plus loin, un entraînement alternatif du SN en augmentant ou en diminuant la fréquence ou l'amplitude de cette erreur aléatoire est possible.

Par exemple, avant la correction des poids, nous pourrions essayer d'ajouter une petite erreur au correcteur à l'aide d'une fonction qui, une fois tous les 1000 appels, renverrait une valeur aléatoire dans une certaine plage (par exemple, +0,01 / -0,01 ). On ne sait pas quand ni quel neurone recevra un petit incrément erroné. Plus ces incréments sont fréquents, plus l'entropie du système est élevée. Dans ce cas, le SN devra prendre en compte... sa propre erreur !

Voici un autre point important :

1. Une autre variante de la contamination du système - l'introduction d'une entrée aléatoire supplémentaire dans un neurone ou un groupe de neurones - un organe.

2. L'"organe" peut être représenté comme un groupe spécialisé de neurones ayant une rétroaction universelle - c'est-à-dire que chaque neurone de l'organe "sait" ce qui se trouve à la sortie de tout autre neurone de son groupe (organe ou famille), et chaque groupe est conscient de ce qui se trouve à la sortie de l'organisme. Un tel SN sera capable d'une auto-adaptation dynamique et le besoin d'apprentissage sera l'une de ses dominantes - c'est-à-dire que le système pourra rechercher et généraliser les connaissances dont il a besoin de manière délibérée et auto-motivée. Notre tâche consistera à dresser des obstacles et à disperser des bribes de connaissances ici et là ;-)

+5

J'ai moi-même pensé à quelque chose comme ça. De nombreuses dépendances intéressantes et non triviales s'ouvrent lorsque l'on travaille avec l'IA.

Par exemple, il n'y a pas longtemps, j'ai compris pourquoi nous avons besoin de rêves... Il s'avère que pendant le sommeil, notre cerveau exerce les synapses en faisant l'expérience de ce que nous avons vu auparavant, éliminant ainsi leur inévitable dystrophie (il s'agit d'un objet biologique, dans lequel les processus d'échange se déroulent en permanence et les erreurs s'accumulent). Si nous n'avions pas fait de rêve, nous aurions perdu toutes nos capacités cognitives et notre mémoire à long terme en un an ! - Nous aurions été réduits à de simples choses qui ne peuvent se souvenir que de ce qu'elles voient. Des expériences fortes (liées à des événements qui changent la vie) nous hantent sans cesse dans notre sommeil, cimentant ainsi des connaissances utiles à la hache.

 
Neutron >> :

Des expériences fortes (liées à des événements qui changent la vie) nous hantent tout le temps dans nos rêves, cimentant ainsi des connaissances utiles à la hache.

Eh bien, c'est gérable. Le contexte de l'apprentissage ne doit pas nécessairement être négatif. Pour un système qui a "saisi" ce que l'on attend de lui et qui a "accepté" ce but comme étant le sien (comme étant son but premier = le sens de la vie), les rêves cessent d'être des cauchemars et dans les rêves, l'apprentissage peut se poursuivre à très grande vitesse.

 
Neutron Je pense que si nous passons complètement à l'apprentissage en manipulant l'entropie du système, les minima locaux disparaîtront en tant que classe. Cependant, l'entraînement peut nécessiter beaucoup plus d'époques et toutes les grilles ne seront pas en mesure de le terminer. Mais ceux qui peuvent... Je ne peux même pas imaginer ce dont ils seront capables.
 
Neutron >> :


Neutron, j'aimerais encore parler du blanchiment des entrées, et de la propagation de l'erreur aux niveaux suivants également

 

Salut, paralocus.

Je suis en train de m'amuser avec le Zig-Zag de Matkad - (quelque part dans ma tête il y a un pépin) et en même temps je normalise les données d'entrée pour le NS. Voici ce que j'ai obtenu la dernière fois : Supposons que nous ayons des données d'entrée avec une distribution arbitraire des incréments, définie sur la ligne des nombres entiers. Nous devons trouver un algorithme permettant de faire correspondre cette distribution à un intervalle de +/-1 avec une distribution de la fonction de densité de probabilité (SP) en rayon.

Prenons la série EURUSD 1m comme exemple et traçons la distribution SP de la différence d[i]=Open[i]-Open[i+1] fig. à gauche :

Une bonne distribution exponentielle a été obtenue et nous allons la convertir en un rayon unitaire. Pour ce faire, nous construisons la PDF de SP en trouvant simplement la somme commutative de SP (Fig. droite) et en ajustant chaque branche à 1 en tenant compte du signe de la branche (en ayant préalablement décalé la courbe de sa valeur correspondante à "zéro" au maximum de la distribution de SP). Nous avons obtenu un modèle de type sigmoïde. Maintenant, nous prenons la série initiale d'incréments et nous agissons sur chacun d'entre eux avec notre sigmoïde comme opérateur, ce qui les fera correspondre à un plateau unitaire. Pour ce faire, je remplace simplement la valeur d'incrémentation d[i] comme argument de la sigmoïde résultante :

Le résultat est quelque chose qui ne ressemble pas exactement à une étagère, mais qui s'en rapproche. Comparez-la avec la distribution originale. L'espacement au centre de la distribution résultante est inévitable, car nous devons étirer quelque part pour l'épaissir. Je pense que c'est un cocktail d'entrée parfait pour le NS.

P.S. Je me demande pourquoi ça n'a pas fait une étagère parfaite. Est-ce fondamentalement impossible et une limitation de la méthode, ou est-ce que je rate quelque chose dans la construction ?

 
Yay ! J'avais peur que tu perdes soudainement tout intérêt... - :)

Je vais aller au fond de ce que vous avez écrit et je vais y répondre.

 
Neutron >> :

P.S. Je me demande pourquoi il n'y a pas d'étagère parfaite. Est-ce fondamentalement impossible et une limitation de la méthode, ou est-ce que je rate quelque chose dans la construction ?

J'y ai aussi pensé hier... (bien sûr, pas aussi mathématiquement que vous - je ne peux tout simplement pas le faire de cette façon) en général, je soupçonne qu'il y a une raison à cela ! Donc vous ne manquez rien.

Les propriétés d[i]=Open[i]-Open[i+1] ont quelque chose de spécial. Il y a une intuition que dans ce cas nous avons une BP fractale comme entrée, qui est soigneusement influencée par un opérateur continu (par exemple th(x) ou sigmoïde), donc une étagère idéale ne fonctionnera pas - la distribution de probabilité Open[i]-Open[i+1] est très probablement hurstienne. J'en ai un plus rugueux, donc le milieu - 0 est complètement absent. Au fait, pourquoi prenez-vous de l'Orap ?

 

Je n'aime pas tripoter quelque chose qui n'a pas été formé. C'est une habitude de Matkad, c'est comme deux doigts sur le trottoir pour "regarder" dans un futur non intentionnel quand on teste le TS ! La seule garantie contre cela, ce sont les barres formées, ou les prix d'ouverture. Ils ne rebondissent certainement pas.

Donnez-moi un indice, quel est votre problème avec la corrélation des signaux d'entrée ? Qu'utilisez-vous comme entrée et pourquoi pensez-vous que le problème existe ? Après tout, il est plus facile de s'assurer qu'il n'existe pas que de le résoudre :-)

Raison: