Retraining - page 2

 
Dmitry Fedoseev:
Et moi qui pensais que le "bla-bla" n'était pas jugé par les gens, mais par ce qu'ils écrivent.

Je n'ai pas l'habitude de répondre aux messages irrités, mais je vais vous répondre personnellement.

Donc, ce que je veux dire par "bla bla".

CAS 1.

Supposons que vous ayez écrit un robot, que vous ayez trouvé ses paramètres avec un TESTER et que, sans les modifier, vous l'ayez essayé sur de nouvelles zones de cotation et de préférence sur d'autres symboles et TF. Nous avons obtenu un résultat positif.

La question est de savoir dans quelle mesure nous pouvons faire confiance au résultat. Va-t-il baisser ou non ?

Pour répondre à la question, regardez l'onglet "Signaux" ici sur le site et voyez que les signaux dont la rentabilité est supérieure au dépôt bancaire et dont la durée de vie est supérieure à un an sont assez rares : il n'y en a même pas une centaine sur plusieurs milliers. Ainsi, je conclus personnellement que le développement d'un TS stable est un art, et le testeur est l'un des outils pour développer un tel TS stable. Mais la conclusion la plus importante : le testeur ne garantit pas un manque à gagner.

C'est ce que j'ai considéré comme le cas lorsque le testeur a confirmé le TS.

CAS 2

C'est un cas plus intéressant dans le sens du "bla-bla". - c'est lorsque le testeur donne un résultat négatif. Que faire ? Après tout, le testeur ne donne aucune idée de la direction dans laquelle il faut creuser et, surtout, il ne répond pas à la question : pourquoi un résultat négatif ? Le testeur constate le fait - c'est mauvais. Vient ensuite l'utilisation d'une méthode universelle appelée méthode TYK ou bla-bla, ce qui signifie généralement un changement intuitif d'indicateurs pour tenter d'obtenir l'ensemble d'indicateurs qui nous mènera au cas 1 décrit ci-dessus.

Y a-t-il des idées, des outils, qui peuvent rendre le processus du cas 2 plus significatif et s'assurer que les résultats obtenus dans le testeur seront obtenus à l'avenir sur le compte réel ?

Oui, il y en a, j'ai donné un lien vers un fil parallèle. Il s'agit d'outils permettant d'analyser l'ensemble initial de données d'entrée (prédicteurs), qui ne conduiront pas à un réentraînement (surajustement) du TS. Ce ne sont pas des "bla-bla" - ce sont des outils spécifiques avec une justification mathématique de leur efficacité, sans recherche intuitive du graal, et après avoir trouvé un tel graal, en vidant le dépo.

 
Stanislav Korotky:
Si un test avant est utilisé, le "surentraînement" sera visible par une dégradation des résultats en dehors de la période d'optimisation. Malheureusement, MT ne fournit pas de méthodes intégrées de comparaison des résultats de l'optimisation et des tests prospectifs, c'est-à-dire qu'il est suggéré de le faire manuellement (à l'œil), par des programmes ou des scripts externes, à sa propre discrétion.
Le terme "reconversion" lui-même n'a pas de sens, il est destiné à justifier la non-fonctionnalité de l'EE elle-même et perd complètement son sens dans le cas d'un loup en avant. En fait, il n'est pas évident de savoir si une variable est sur-apprise ou sous-apprise à partir de la dégradation. On ne peut le constater qu'en comparant les résultats de l'avancement dans différentes conditions d'optimisation et d'essai. La profondeur de l'historique et le pas en avant sont sélectionnés dans chaque cas personnellement et il est alors déjà visible ce qui est sur et ce qui est sous-entraîné.
 
СанСаныч Фоменко:

...

CAS 2.

Le testeur déclare un fait - mauvais. Vient ensuite l'application d'une méthode universelle appelée MÉTHODE TYKA ou bla-bla, qui consiste généralement à modifier intuitivement un ensemble d'indicateurs pour tenter d'obtenir un ensemble d'indicateurs qui nous mènera au cas 1, décrit ci-dessus.

Y a-t-il des idées, des outils, qui peuvent rendre le processus du cas 2 plus significatif et s'assurer que les résultats obtenus dans le testeur seront obtenus à l'avenir sur le compte réel ?

Oui, il y en a, j'ai donné un lien vers un fil parallèle. Il s'agit d'outils permettant d'analyser l'ensemble initial de données d'entrée (prédicteurs), qui ne conduiront pas à un réentraînement (surajustement) du TS. Ce ne sont pas des "bla-bla" - il s'agit d'outils spécifiques avec une justification mathématique de leur efficacité, sans recherche intuitive du graal, et après avoir trouvé un tel graal, en vidant le dépo.

Et si cette méthode de poke était automatisée ! Des réflexions intéressantes dans ce sens. Les indicateurs changent, leurs interactions aussi, les interactions sont représentées comme des fonctions séparées, le nombre de paramètres peut donc changer, seule l'optimisation la plus simple en fonction de ceux-ci se produit. C'est pourquoi je suis intéressé par la question posée dans ce fil de discussion, une approche plus universelle, qui ne dépendrait pas des paramètres de la stratégie. La branche que vous proposez a des objectifs complètement différents. Mais si vous démontrez l'applicabilité de ces méthodes à ce problème, vous êtes le bienvenu.

 
Youri Tarshecki:
Le terme "reconversion" lui-même est stupide, conçu pour justifier l'inopérabilité de l'EE elle-même et perd complètement son sens avec une avancée de volée. En fait, la dégradation ne permet pas de savoir si une variable est surentraînée ou sous-entraînée. On ne peut le constater qu'en comparant les résultats de l'avancement dans différentes conditions d'optimisation et d'essai. La profondeur de l'histoire et le pas en avant sont sélectionnés dans chaque cas personnellement et il est alors déjà visible ce qui est sur et ce qui est sous-entraîné.

Dans cette situation, le terme "surentraînement" est applicable, l'entraînement ne se rapportant pas seulement au paramétrage mais aussi à l'élaboration de la stratégie.

J'aimerais estimer la probabilité de surentraînement, afin que le système de recherche puisse au moins "contourner" les endroits douteux, si l'on se contente de comparer avec un tracé d'historique avant, il se peut que le système perçoive deux tracés d'historique (formation, test) comme un seul tracé de formation. Écouter les idées)).

 
Aliaksandr Hryshyn:

Dans cette situation, le terme "surentraînement" est applicable, l'entraînement ne se rapportant pas seulement au paramétrage mais aussi à l'élaboration de la stratégie.

J'aimerais estimer la probabilité de surentraînement, afin que le système de recherche puisse au moins "contourner" les endroits douteux, si l'on se contente de comparer avec un tracé d'historique avant, il se peut que le système perçoive deux tracés d'historique (formation, test) comme un seul tracé de formation. Écouter les idées)).

Lors de l'élaboration d'une stratégie, le terme "surentraînement" est d'autant plus inapplicable que nous ne faisons que comparer le résultat du test dans les mêmes conditions d'entraînement pour sélectionner la variante du code. Et la façon dont ces conditions sont choisies de manière optimale n'est pas si importante, l'essentiel étant qu'elles soient les mêmes pour toutes les variantes du code. Sinon, le choix n'a pas de sens.
 

Le terme "surentraînement" ou "suroptimisation" a été inventé par les tweakers car, en effet, plus on optimise un EA sur une partie particulière de l'historique et plus il y a de paramètres d'optimisation, meilleurs sont les résultats en entraînement.

Pour une raison quelconque, on pense qu'il existe une corrélation inverse avec les résultats des tests, c'est-à-dire que moins il y en a, mieux c'est, mais mon expérience montre que ce n'est pas vrai. Le résultat du test ne dépend pas du nombre de passages d'optmisation, mais de la qualité du conseiller expert lui-même et du choix optimal des cycles d'entraînement et de test. Les résultats des schémas où l'histoire est soumise à une optimisation minimale ne sont pas les meilleurs que j'ai vus.

Par exemple, dans le schéma "wolfkin forward", lors d'un entraînement de 4 mois - 1 mois de test, chaque intervalle de l'historique est optimisé 4 fois, mais dans le schéma "entraînement de 2 mois - 2 mois de test", une seule fois. Est-ce trop ou trop peu ? Qui sait ? Il suffit de regarder les résultats des tests. Si la somme des avants est meilleure, alors c'est la meilleure option.

 
Youri Tarshecki:
Lors de l'élaboration d'une stratégie, le terme "surentraînement" est d'autant plus inapplicable que nous ne faisons que comparer le résultat du test dans les mêmes conditions d'entraînement pour sélectionner une variante du code. Et la façon dont ces conditions sont choisies de manière optimale n'est pas si importante, l'essentiel étant qu'elles soient les mêmes pour toutes les variantes du code. Sinon, le choix n'a pas de sens.

Ce terme est utilisé assez souvent :"Le surentraînement, ouoverfitting, est un phénomène indésirable qui se produit dans les tâches d'apprentissage basées sur les précédents lorsque la probabilité d'erreur de l'algorithme entraîné sur les objets de l'échantillon de testest significativement plus élevée que l'erreur moyenne sur l'échantillon d'entraînement."

Selon la définition, l'uniformité des conditions de formation n'empêche pas l'applicabilité du terme à notre problème.

 
Nikkk:

La reconversion est comme le mot contre-révolution. Alors pourquoi enseigner si vous devez vous recycler. Et s'il est logique de se reconvertir, alors vous connaissez les limites flottantes de la reconversion, sinon c'est la même roulette au final. Et puisqu'il existe des points de décision quant au moment, à la fréquence et aux paramètres qui doivent être ré-entraînés, pourquoi ne pas intégrer cette compréhension dans la logique de l'algorithme d'apprentissage lui-même dès le départ ?

Passer de l'analyse du prix à l'analyse du retour d'information entre la formation et la réalité (prix). La même chose sous un angle différent.

Il suffit de comparer l'apprentissage à la mémoire. Ce n'est pas comme si vous vous demandiez pourquoi vous devez vous souvenir si vous devez oublier de toute façon. Le problème est qu'en général, les EA ne disposent pas d'une mémoire à long terme et d'une mémoire de travail distinctes. En outre, l'évaluation de leurs performances est très primitive. Par conséquent, nous devrions idéalement enseigner chaque permenum séparément (ce que j'essaie de faire, d'ailleurs), et le tester non pas sur des segments de formation, mais sur des segments de test.
 
Aliaksandr Hryshyn:

Ce terme est utilisé assez souvent :"Le surentraînement, ouoverfitting, est un phénomène indésirable qui se produit dans les tâches d'apprentissage basées sur les précédents lorsque la probabilité d'erreur de l'algorithme entraîné sur les objets de l'échantillon de testest significativement plus élevée que l'erreur moyenne sur l'échantillon d'entraînement."

Selon la définition, l'uniformité des conditions de formation n'empêche pas l'applicabilité du terme à notre problème.

Ainsi, lors de l'élaboration d'une stratégie, la tâche est différente. Pas de précédents, pas d'optimisation, mais l'écriture de code.

D'ailleurs, je ne suis pas d'accord avec cette définition. Selon lui, si nous n'optimisons pas du tout et que la probabilité d'échec au test est plus grande qu'à l'entraînement (ce qui est fréquent), cela sera également considéré comme une sur-optimisation. Et qu'est-ce que cela signifie en substance ? Deux fois ? De dix fois ?

 
Youri Tarshecki:
Il suffit de comparer l'apprentissage à la mémoire. Ce n'est pas comme si vous vous demandiez pourquoi vous devez vous souvenir si vous devez oublier de toute façon. Le problème est que les EA n'ont généralement pas de mémoire à long terme et à court terme séparées. En outre, l'évaluation de leurs performances est très primitive. Par conséquent, nous devrions idéalement enseigner chaque permenent séparément (ce que j'essaie de faire, d'ailleurs), et le vérifier non pas sur des segments de formation, mais sur des segments de test.

N'oubliez pas, c'est juste que la mémoire de la section où la formation a eu lieu se transforme en mémoire des résultats de la formation de cette section. C'est la même chose que si l'on filtrait une zone et que l'on utilisait ensuite les informations filtrées pour les analyser, puis qu'on les filtrait et qu'on en utilisait une autre et ainsi de suite, alors qu'il existe un lien entre la nature du filtrage/les zones dans lesquelles ces filtres ont été effectués.

Rien n'y est oublié, la même analyse de l'histoire sous un angle différent. Quel que soit le nom que vous voulez lui donner, sur-apprentissage/sur-optimisation/adaptation/adaptation/sur-adaptation.