Y a-t-il un modèle dans ce chaos ? Essayons de le trouver ! Apprentissage automatique sur l'exemple d'un échantillon spécifique. - page 22
Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
Mais j'ai obtenu ce modèle .
Il n'est pas nécessaire d'espérer que le meilleur modèle de l'examen sera rentable à l'avenir. La moyenne ou la majorité devrait être rentable.
C'est comme dans l'optimiseur de testeurs - les meilleurs modèles seront plumés à l'avance 99% du temps.
Les divisions ne sont effectuées que jusqu'au quantum. Tout ce qui se trouve à l'intérieur du quantum est considéré comme ayant la même valeur et n'est pas divisé davantage.
Vous n'avez pas compris - le fait est que chaque division réduit l'échantillon pour la division suivante, qui se produit selon la table quantique, mais la métrique changera à chaque fois.
Il existe des algorithmes qui créent une nouvelle table quantique après chaque fractionnement lors de l'entraînement du modèle.
Je ne comprends pas pourquoi vous cherchez quelque chose dans quantum, son but premier est d'accélérer les calculs (le but secondaire est de charger/généraliser le modèle pour qu'il n'y ait plus de fractionnement, mais vous pouvez aussi simplement limiter la profondeur des données flottantes) Je ne l'utilise pas, je ne fais que des modèles sur des données flottantes. J'ai effectué une quantification sur 65 000 pièces - le résultat est absolument le même que le modèle sans quantification.
Apparemment, je vois l'efficacité, c'est pourquoi je l'utilise. 65 000 pièces, c'est trop, je vois que le but de la quantification est de généraliser les données pour créer une caractéristique catégorielle, il est donc souhaitable que 2 à 5 % de l'ensemble de l'échantillon soit quantifié. Il est possible que cela ne soit pas vrai pour tous les prédicteurs - les expériences n'ont pas été menées à bien.
Il y aura une division qui divisera les données en deux secteurs - l'un contient tous les 0, l'autre tous les 1. Je ne sais pas ce qu'on appelle quanta, je pense que quanta est le nombre de secteurs obtenus après quantification. Il s'agit peut-être du nombre de divisions, comme vous l'entendez.
Oui, c'est clair, vous avez raison pour le fractionnement, j'ai plutôt souri. En général, il y a un concept de table quantique chez CatBoost, il y a exactement des divisions, et pour ma part j'utilise des segments - deux coordonnées, et peut-être qu'on peut les appeler quanta ou segments quantiques. Je ne connais pas la véritable terminologie, mais c'est ainsi que je les appelle pour ma part.
Il n'est pas nécessaire d'espérer que le meilleur modèle de l'examen soit rentable à l'avenir. La moyenne ou la plupart des modèles devraient être rentables.
C'est comme dans l'optimiseur de testeurs - les meilleurs modèles seront plum sur le forward 99% du temps.
L'objectif est maintenant de comprendre le potentiel auquel nous pouvons aspirer. Je n'effectuerai pas de transactions sur ces modèles.
Et je m'attends à ce que le nombre de modèles sélectionnés augmente en raison de la réduction de la variabilité dans la sélection fractionnée - nous verrons cela plus tard dans la journée.
Et je m'attends à ce que le nombre de modèles sélectionnés augmente en raison de la réduction de la variabilité dans la sélection partagée - nous verrons cela plus tard dans la journée.
Il s'avère que j'avais tort - le nombre de modèles n'est que de 79, le bénéfice moyen sur l'examen est de -1379.
Il n'est pas nécessaire d'espérer que le meilleur modèle de l'examen soit rentable à l'avenir. La moyenne ou la plupart des modèles devraient être rentables.
C'est comme dans l'optimiseur de testeurs - les meilleurs modèles seront plum sur le forward 99% du temps.
En passant, j'ai décidé de regarder l'échantillon d'un autre modèle, qui n'était pas non plus en formation - celui qui a été coupé plus tôt.
Voici à quoi ressemble le même modèle sur ces données (2014-2018).
Je pense que ce n'est pas mal, en tout cas pas une prune à 45 degrés. En d'autres termes, peut-on encore s'attendre à ce qu'un bon modèle continue à être bon ?
D'ailleurs, j'ai décidé d'examiner ici un échantillon de l'autre qui n'était pas non plus en formation - celui qui a été coupé plus tôt.
Et le même modèle ressemble à ceci sur ces données (2014-2018).
Je pense que ce n'est pas mal, en tout cas ce n'est pas une prune à 45 degrés. En d'autres termes, peut-on encore s'attendre à ce qu'un bon modèle continue à être bon ?
peut-être)
peut-être)
Hélas, j'ai vérifié tous les modèles - ceux qui ont rapporté plus de 3000 sur l'échantillon du train et de l'examen - 39 pièces l'ont été, sur l'échantillon nouveau-ancien seulement 18 (46%) ont montré un résultat rentable. C'est certainement plus qu'un tiers, mais ce n'est toujours pas suffisant.
C'est la différence dans les soldes des modèles sélectionnés entre l'échantillon d'examen régulier et l'échantillon rejeté (2014-2018).
Hélas, j'ai vérifié sur tous les modèles - ceux qui ont gagné plus de 3000 sur l'échantillon du train et de l'examen - 39 pièces étaient, sur le nouvel échantillon ancien seulement 18 (46%) ont montré des résultats rentables. C'est certes plus qu'un tiers, mais c'est encore insuffisant.
C'est la différence dans les soldes des modèles sélectionnés entre l'échantillon d'examen régulier et l'échantillon éliminé (2014-2018).
En général, même le 50/50 ne fonctionne pas encore (en termes de profit). S'il est difficile de trouver de nouvelles caractéristiques liées à la cible, peut-être faudrait-il changer de cible ?
De nouveaux prédicteurs peuvent être inventés, il y a encore des idées, mais je ne suis pas sûr que la formation sera basée sur ces prédicteurs en tenant compte du principe de greed..... Il faut peut-être changer l'approche de la formation des modèles, faire nos propres transformations des algorithmes connus.
La cible peut être changée, mais vers quoi, des idées ?
J'ai pris l'échantillon de la sixième étape que j'ai décrite ici et j'ai échangé l'examen et le test.
En fait, la formation s'est déroulée selon les mêmes règles, avec les mêmes semences, mais un autre échantillon - plus tardif dans la chronologie - a été chargé d'arrêter la création de nouveaux arbres.
En conséquence, la valeur moyenne du bénéfice sur l'échantillon de test (ancien examen) est de -730,5 - je rappelle que pendant l'entraînement chronologique sur l'échantillon de test la valeur moyenne était de 982,5, et sur l'échantillon d'examen (ancien test ) la valeur moyenne du solde était de 922,49 points, alors que dans la variante initiale elle était de -1114,27 points.
Figure 1 Histogramme de la distribution des soldes de l'échantillon de test original lorsqu'il est utilisé comme échantillon d'examen.
Figure 2 Histogramme de la distribution du solde de l'échantillon test lorsqu'il est utilisé comme échantillon d'examen.
Lorsque les échantillons étaient classés par ordre chronologique, la valeur moyenne des arbres dans le modèle était de 11,47 ; lorsque la séquence de deux échantillons était modifiée, la valeur moyenne des arbres dans le modèle était de 9,11, c'est-à-dire que l'on peut dire que les modèles sont devenus moins apparents après l'échange des échantillons, de sorte que moins d'arbres ont été nécessaires pour les décrire.
Dans le même temps, grâce au contrôle de l'arrêt par l'échantillonnage effectif, les modèles sont devenus plus qualitatifs et, comme je l'ai indiqué plus haut, en moyenne plus rentables.
D'une part, l'expérience confirme que les échantillons contiennent des schémas similaires qui durent des années, mais en même temps certains d'entre eux deviennent moins prononcés ou même déplacent leur probabilité vers la zone négative de l'issue de l'événement. Il a été révélé précédemment que non seulement les prédicteurs eux-mêmes, mais aussi leur utilisation dans le modèle influencent le résultat de la formation.
En conséquence, nous disposons de ce qui suit
1. Un échantillon non représentatif.
2. Des modèles aléatoires qui peuvent "éclipser" les modèles stables lors de la construction du modèle, ou la méthode de construction du modèle elle-même n'est pas suffisamment fiable.
3. Dépendance du résultat du modèle par rapport à la zone d'échantillonnage (l'ancien train-échantillon a donné de bons résultats dans le rôle de l'examen).