L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 2799

 
elibrarius #:

Busting recherche les meilleures divisions à partir de toutes les colonnes et de tous les exemples, c'est-à-dire qu'il utilise les meilleures fiches. C'est-à-dire qu'il utilise les meilleures fiches.
Schuch. forest prend la moitié des fiches et la moitié des exemples (la part est configurable) pour chaque arbre, puis de 20 à 100 arbres, il trouve la moyenne. S'il n'y a que 5 puces informatives sur 200 puces, alors certains arbres ne comprendront pas de puces informatives (en moyenne 2,5 puces informatives par arbre). Et nous ferons la moyenne d'une partie des arbres informatifs avec les arbres bruyants. Le résultat sera également très bruité.
Une forêt sporadique fonctionne bien s'il y a beaucoup de jetons informatifs (comme dans les exemples classiques/problèmes de MO).

Busting trouvera et utilisera les fiches les plus informatives, puisqu'il les vérifie toutes. Ainsi, selon la logique de bousting, il sélectionnera lui-même les meilleures fiches. Mais le bousting a aussi ses propres problèmes.

Je ne suis pas d'accord avec vous sur ce point.

L'écrasement trouvera des caractéristiques qui ont une forte corrélation (pouvoir prédictif) - croyez-le. Tout va bien si l'ampleur de la corrélation est constante. En abandonnant l'estimation du trait lui-même, dans le bousting nous ne pouvons pas suivre la variabilité de l'ampleur de l'association, et selon mes données, le DD de l'estimation de l'association peut varier de 10 % à 120 (sur mes traits). Que nous apportera le bousting ? Après tout, nous devons échantillonner les caractères qui présentent une plus grande variabilité.

 
СанСаныч Фоменко #:

L'évaluation elle-même est une chose relative.

Je vais répéter les images.

C'est mauvais, c'est sans espoir.


Mieux, s'il y en a plusieurs, on peut parler de 30% d'erreur de prédiction.


Et il faut éliminer les déchets, car sur l'ensemble d'apprentissage, la puce peut pencher en faveur des déchets, il est plus facile de trouver la valeur qui conduit à l'optimum.

plus il y a d'information mutuelle dans le partitionnement des classes, moins les distributions se chevauchent, ce qui est logique.

Les distributions continueront à flotter sur de nouvelles données.

Je ne me fierais pas beaucoup à une telle manipulation, c'est juste une idée à essayer.
 
elibrarius #:

Busting recherche les meilleures divisions à partir de toutes les colonnes et de tous les exemples. C'est-à-dire qu'il utilise les meilleures fiches.
Schuch. forest prend la moitié des fiches et la moitié des exemples (la part est configurable) pour chaque arbre, puis de 20 à 100 arbres, il trouve la moyenne. S'il n'y a que 5 puces informatives sur 200 puces, alors certains arbres ne comprendront pas de puces informatives (en moyenne 2,5 puces informatives par arbre). Et nous ferons la moyenne d'une partie des arbres informatifs avec les arbres bruyants. Le résultat sera également très bruité.
Une forêt sporadique fonctionne bien s'il y a beaucoup de jetons informatifs (comme dans les exemples classiques/problèmes de MO).

Busting trouvera et utilisera les fiches les plus informatives, puisqu'il les vérifie toutes. Ainsi, selon la logique de bousting, il sélectionnera lui-même les meilleures fiches. Mais le bousting a aussi ses propres problèmes.

Logiquement
 
Maxim Dmitrievsky #:
plus l'information mutuelle est importante lors de la division en classes, moins les distributions se chevauchent, ce qui est logique

Les distributions flotteront toujours sur les nouvelles données.

Je ne m'appuierais pas vraiment sur une telle manipulation, c'est juste une idée à essayer.

Vous n'avez pas remarqué la variabilité de sd

 
СанСаныч Фоменко #:

Je ne suis pas d'accord avec le bousting.

Le bousinage permet de trouver des caractéristiques qui ont une forte corrélation (pouvoir prédictif) - croyez-le. Tout va bien si l'ampleur de la relation est constante. En renonçant à l'estimation du caractère lui-même, le bousting ne permet pas de suivre la variabilité de l'ampleur de l'association, et selon mes données, le DD de l'estimation de l'association peut varier de 10 % à 120 (sur mes caractères). Que nous apportera le bousting ? Après tout, nous devons échantillonner les caractères qui présentent une plus grande variabilité.

Tous les modèles de MO recherchent des modèles. Le bousting sélectionne automatiquement les meilleurs caractères sur la piste.

En cas de variabilité (par exemple, dans les données du marché), nous devons faire quelque chose de plus. J'ai expérimenté la marche en avant. Mais cela ne fait qu'afficher le résultat, cela n'affecte pas la sélection des signes. Et rien ne peut prédire quelles caractéristiques fonctionneront à l'avenir s'il n'y a pas de modèles ou s'ils changent. La seule chance est qu'ils ne changent pas instantanément et que le modèle fonctionne pendant un certain temps.

 
Aleksey Vyazmikin #:

J'ai créé un fil de discussion avec un échantillon qui prouve le contraire - bousting n'est pas omnipotent, surtout en dehors de la boîte.

Je pense qu'il ne s'agit pas d'un problème de boosting, mais d'un problème de variabilité des données. Je vais essayer de m'entraîner sur vos données.
 
elibrarius #:
Je pense qu'il ne s'agit pas d'un problème de boost, mais d'un problème de variabilité des données. Je vais essayer de m'entraîner sur vos données.

Bien sûr, ce n'est pas l'algorithme en soi qui est en cause, mais les données.

Essayez et voyez ce que vous obtenez !

L'échantillon est relativement unique en ce sens qu'il est difficile de s'y entraîner de manière à ce que quelque chose fonctionne en dehors de l'entraînement.

Je suis encore en train de l'expérimenter.

 
Aleksey Vyazmikin #:

L'échantillon est relativement unique en ce sens qu'il est difficile de s'entraîner sur quelque chose qui fonctionnerait en dehors de la formation.

En quoi est-ce unique ? Les données du marché ne fonctionnent généralement pas en dehors de la formation. Je vous ai posé quelques questions à ce sujet

 
elibrarius #:

S'agit-il d'un caractère unique ? En dehors de la formation, les données de marché ne fonctionnent généralement pas. Je vous ai posé quelques questions à ce sujet

Eh bien, elles ne fonctionnent pas, elles fonctionnent généralement, mais pas très bien.

La particularité ici est que le modèle CatBoost préfère attribuer à tous les exemples une probabilité inférieure à 0,5 - il ne classe donc pas la cible "1", et ce qui se trouve entre 0 et 0,5 n'est pas non plus très bien distribué - il y a des captures d'écran du modèle dans le fil de discussion.

 
Aleksey Vyazmikin #:

La particularité ici est que le modèle CatBoost préfère attribuer à tous les exemples une probabilité inférieure à 0,5 - il ne classe donc pas la cible "1", et ce qui se trouve entre 0 et 0,5 est également très mal distribué - il y a des captures d'écran du modèle dans le fil de discussion.

La particularité ici est qu'il semble y avoir un fort déséquilibre des classes, si pour 100 exemples il y a 5 étiquettes d'une classe et 95 étiquettes d'une autre classe, comment le modèle peut-il donner une probabilité supérieure à 0,5 pour la première classe ?

Raison: