L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 1934

 
Valeriy Yastremskiy:

Et qu'est-ce que tu veux obtenir ? Des harmoniques jusqu'à Fourier. Ou des polynômes orthogonaux, il y en a beaucoup. Tout peut être décomposé).

Je n'ai pas besoin de me décomposer, j'ai besoin de créer. Je dois créer une fonction qui répondra à mes besoins, mais je ne sais pas quelle est cette fonction.

Peut-être une énumération par harmoniques mais j'envisagerai toutes les variantes.

Il s'agit essentiellement de la même approximation mais l'énumération ne porte pas sur la réduction de l'erreur mais sur la correspondance avec la condition.


Donc, je veux savoir comment cette recherche est organisée , même dans une simple approximation harmonique, qu'est-ce qui est multiplié là pour changer la fonction ?

Comment fonctionne en général le mécanisme d'ajustement d'une fonction à une autre ?
 
mytarmailS:

Je n'ai pas besoin de me décomposer, j'ai besoin de créer. J'ai besoin de créer une fonction à partir du temps qui satisfera ma condition, laquelle fonction je ne connais pas, donc je dois créer une recherche.

Probablement une énumération harmonique, mais j'envisagerai toutes les options.

Il s'agit essentiellement de la même approximation mais elle ne porte pas sur la réduction des erreurs mais sur la correspondance avec la condition.


Je veux donc savoir comment cette recherche est organisée , même dans une simple approximation harmonique, qu'est-ce qui est multiplié là pour changer la fonction ?

Comment fonctionne en général le mécanisme d'ajustement d'une fonction à une autre ?

Je ne peux pas le dire en formules, dans le sens d'une décomposition de la plus grande à la plus petite période. Vous trouvez la plus grande harmonique, la soustrayez du signal réel, trouvez la plus grande du reste et la soustrayez avec la précision requise. Et dans l'approximation (Représentation approximative du signal réel par des fonctions linéaires brisées droites) nous représentons l'harmonique en sections discrètes par des lignes droites. Si l'échantillonnage correspond à une demi-période (si c'est plus, rien ne sortira), nous obtiendrons des "P" ou des lignes droites entre les extrema, et si c'est un quart ou plus, nous obtiendrons des lignes brisées. Et si on diminue le pas d'échantillonnage, on augmente la précision.

Si la sélection des prix est longue, elle peut être décomposée en sections plus courtes et les fonctions linéaires, puissantes, harmoniques et logarithmiques peuvent être énumérées/sélectionnées sur ces sections. Idéalement, les harmoniques et l'orthogonal linéaire devraient résoudre le problème. Prouvé plus d'une fois. Mais seulement sur l'histoire.

Aucun point avec le marché, nous avons la fonction / modèle mathématique changement au fil du temps et aucun critère clair, pas prouvé combien de données sont nécessaires pour déterminer le modèle mathématique et son décalage avec la même BP, autre que la discrétisation en demi-période ne donnera pas de résultats, cela a été prouvé). Tous empiriques ou NS avec MO) mais aussi expérientiels.

Il n'y a pas de fonction avec des conditions changeantes, nous avons un ensemble d'harmoniques sur cette section, un autre sur la suivante. L'échantillonnage du son est de 48 kilohertz, soit deux fois plus que ce que nous entendons, ce qui fait que nous perdons dans les hautes fréquences. Et le numérique a 2 niveaux de signal par période de 1/48000 sec.

 
mytarmailS:

Je n'ai pas besoin de me décomposer, j'ai besoin de créer. J'ai besoin de créer une fonction à partir du temps qui satisfera ma condition, laquelle fonction je ne connais pas, donc je dois créer une recherche.

Probablement une énumération harmonique, mais j'envisagerai toutes les options.

Il s'agit essentiellement de la même approximation mais l'énumération ne porte pas sur la réduction de l'erreur mais sur la correspondance avec la condition.


Donc, je veux savoir comment cette recherche est organisée , même dans une simple approximation harmonique, qu'est-ce qui est multiplié là pour changer la fonction ?

Comment fonctionne le mécanisme d'adaptation d'une fonction à une autre ?
harmonique, c'est par Fourier ? Il suffit d'additionner des ondes sinusoïdales de périodes et d'amplitudes différentes A1*cos(2Pi*t/T1+Fi1)+ A2*cos(2Pi*t/T2+Fi2) +... A - amplitude, T - période, Fi - phase
 
mytarmailS:

Combien de fois je te l'ai dit ? 3 ? 5 ?

Alors pourquoi l'ont-ils inventé, et la vidéo postée plus tôt avec un homme qui a en quelque sorte utilisé ce miraculé et conclu que l'échantillon convient à l'entraînement...

 
Aleksey Vyazmikin:

Eh bien, pourquoi l'ont-ils inventé, et la vidéo a été postée plus tôt avec un homme qui a en quelque sorte utilisé ce diable de miracle et a conclu que l'échantillonnage est approprié pour la formation ...

il a utilisé t-sne (comme) mais ça n'a pas d'importance, ça marche et ça marche bien mais pas pour le marché comme tout le reste, il suffit de télécharger n'importe quel jeu de données sur internet et vous verrez que ça marche bien mais....

Mais je peux tirer quelques conclusions : les clusters sont stables et stables mais ils ne sont pas corrélés avec le profit, la cible est corrélée avec le profit mais se déplace autour des clusters, probablement parce que chaque cible est une réalité objective. Je vais essayer de reconnaître les modèles par leurs analogues historiques mais pas par les prix, mais par umap comme je le voulais depuis le début.


Rorschach:
harmonique, c'est comme une onde de Fourier ? C'est juste des ondes sinusoïdales de différentes périodes et amplitudes additionnées A1*cos(2Pi*t/T1+Fi1)+ A2*cos(2Pi*t/T2+Fi2) +... A - amplitude, T - période, Fi - phase

Mec, c'est compliqué.... Je comprends pour les harmoniques, mais il est probablement stupide de collecter des séries d'harmoniques et de les essayer, cela devrait probablement être fait comme une dépendance de quelque chose sur quelque chose, c'est putain de dur..... mais si c'est fait, c'est un graal.

 
mytarmailS:

Sélection des caractéristiques[code d'édition]

Une méthode desélection des caractéristiques tente de trouver un sous-ensemble des variables originales (appelées caractéristiques ou attributs). Il existe trois stratégies : une stratégie de filtrage(par exemple, l'accumulation de caractéristiques [en]), une stratégie d'enveloppement(par exemple, la recherche en fonction de la précision) et une stratégie d'intégration(sélection des caractéristiques à ajouter ou à supprimer au fur et à mesure de la construction du modèle, en fonction des erreurs de prédiction). Voir également les problèmes d'optimisation combinatoire.

Dans certains cas, l'analyse des données, comme larégression ou laclassification, peut être effectuée dans l'espace réduit avec plus de précision que dans l'espace original [3].

Projection d'éléments[edit|edit code]

La projection des caractéristiques convertit les données d'unespace de haute dimension en un espace de basse dimension. La transformation des données peut être linéaire, comme dans laméthode des composantes principales(PCM), mais il existe un certain nombre de techniques deréduction non linéaires [en] [4] [5]. Pour les données multidimensionnelles,une représentationtensorielle peut être utilisée pour réduire la dimensionnalité par unapprentissage polylinéaire des sous-espaces [en] [6].

J'ai manqué le texte avec vos explications - je me corrige.

J'ai immédiatement un certain nombre de questions :

1. Comment obtenir le résultat de la sélection des caractéristiques avec leur transformation sous la forme de règles quelconques pour une utilisation séparée dans le code ?

2. Peut-être existe-t-il un moyen de visualiser les caractéristiques sélectionnées et leur transformation - par le biais d'un arbre ou autre ?

3. Avez-vous essayé ces stratégies de sélection des caractéristiques ?

La méthode desélection des caractéristiques tente de trouver un sous-ensemble des variables originales (qui sont appelées caractéristiques ou attributs). Il existe trois stratégies : une stratégie de filtrage(par exemple, l'accumulation de caractéristiques [en]), une stratégie d'enveloppement(par exemple, la recherche en fonction de la précision) et une stratégie d'intégration(sélection des caractéristiques à ajouter ou à supprimer au fur et à mesure de la construction du modèle en fonction des erreurs de prédiction). Voir également les problèmes d'optimisation combinatoire.

Dans certains cas, l'analyse des données, comme larégression ou laclassification, peut être effectuée dans l'espace réduit avec plus de précision que dans l'espace original [3].

mytarmailS:

C'est ce que nous avons fait hier.

Réduction de la dimensionnalité[code d'édition]

Pour les ensembles de données à haute dimension (c'est-à-dire avec plus de 10 dimensions), la réduction de la taille est généralement effectuée avant d'appliquer l'algorithme des k-voisins les plus proches(k-NN), afin d'éviter l'effet de lamalédiction de la dimensionnalité [16].


Avantages de la réduction de la dimensionnalité[modifier lecode].

  1. Il réduit le temps et la mémoire nécessaires.
  2. La suppression de la multicollinéarité améliore la vitesse du modèle d'apprentissage automatique.
  3. Il est plus facile de représenter visuellement les données lorsqu'elles sont réduites à de très faibles dimensions, comme la 2D ou la 3D.

D'après le code, il me semblait que le regroupement était séparé, que la construction de la projection était séparée, puis que nous utilisions les résultats du regroupement pour l'étalonnage des couleurs lors du rendu, non ?

 
mytarmailS:

il a utilisé t-sne (comme) mais ça n'a pas d'importance, enfin, ils l'ont inventé, et ça marche et marche très bien mais pas pour le marché, comme tout le reste, téléchargez n'importe quel ensemble de données sur internet et vous verrez que le truc marche très bien mais....

Mais je peux tirer quelques conclusions : les clusters sont stables et stables mais ils ne résonnent pas avec le profit, la cible résonne avec le profit mais se déplace autour des clusters, probablement parce que chaque cible est une réalité objective. Je vais essayer de reconnaître les modèles en utilisant des analogues historiques, sans utiliser les prix, mais en utilisant umap comme je l'ai prévu dès le début.

Alors comment les marquer dans l'historique pour les classer ? Et ensuite, donc vous les avez reconnus, et ensuite quoi ? L'autre jour, je distribuais sur 4 clusters en cherchant des cibles... A moins que vous ne changiez la cible d'un cluster à l'autre. En général, nous devons comprendre pourquoi les chaînes se sont retrouvées dans différents clusters - analyser la logique, s'il y en a une et si elle est contiguë au marché.

 
Aleksey Vyazmikin:

J'aimanqué le texte de vos explications - je me suis trompé.

J'ai immédiatement un certain nombre de questions :

1. Comment obtenir le résultat de la sélection des caractéristiques avec leur transformation sous la forme de règles quelconques pour une application séparée dans le code ?

2. Peut-être existe-t-il un moyen de visualiser les caractéristiques sélectionnées et leur transformation - par le biais d'un arbre ou autre ?

3. Avez-vous essayé ces stratégies de sélection des caractéristiques ?

Et il me semblait, d'après le code, que le regroupement était séparé, que la construction de la projection était séparée, et qu'ensuite nous utilisions les résultats du regroupement pour l'étalonnage des couleurs lors du rendu, non ?


1. c'est la même chose que de vouloir 100k prix de clôture décrits par des règles pour une application séparée dans le code

2. les attributs se présentent sous la forme de fonctions avec tout ce que cela implique

3. j'ai essayé quelque chose ; ça réduit la dimensionnalité, mais la qualité ne s'améliore pas, mais quand même, je trouve ça cool de compresser 10k attributs à 500 sans perdre la qualité, ce que je trouve très cool.

4. C'est exact, nous avons d'abord réduit la dimensionnalité puis nous l'avons regroupée, c'est écrit ici aussi - -----. Pour les ensembles de données de haute dimension (c'est-à-dire avec un nombre de dimensions supérieur à 10), laréduction de la dimension est généralement effectuéeavant d' appliquer laméthode des k-plus proches voisins.

 
mytarmailS:


1. c'est la même chose que de vouloir que des centaines de prix de clôture soient décrits par des règles pour une utilisation séparée dans le code.

2. les caractéristiques apparaissent comme des fonctions avec toutes leurs conséquences

3. j'ai essayé quelque chose ; cela réduit la dimensionnalité, mais la qualité n'augmente pas, mais c'est quand même cool, par exemple on peut compresser 10k attributs à 500 sans perte de qualité, ce que je trouve très cool, ou à 50 avec une perte acceptable.

4. C'est exact, nous avons d'abord réduit la dimensionnalité puis nous avons procédé au clustering, c'est ce qui est indiqué ici - ----- Pour les ensembles de données à haute dimensionnalité (c'est-à-dire avec un nombre de dimensions supérieur à 10), laréduction de la dimensionnalité est généralement effectuéeavant d' appliquer laméthode des k-voisins les plus proches.

1. Vous avez dû mal comprendre la question - il s'agit simplement de décharger les règles dans un fichier, et il y a des règles, ce qui a été confirmé en 2.

2.

3. Corrélation élevée probable entre les prédicteurs, y compris après la conversion ? Est-il possible d'obtenir une liste des prédicteurs retirés ou ne sont-ils pas retirés mais fusionnés dans des groupes - je n'arrive pas à comprendre.

4. Peut-être que j'ai mal compris le code ou que je l'ai mal regroupé, je vais le réafficher.

#way <- "F:\\FX\\R\\tree_classification_2019_fS_Eks_29\\Test_Pred_ALL_01.csv"  #  ваш путь
way <- "F:\\FX\\R\\2020_04_11_Pred_New_Full\\Pred_New_Full.csv"  #  ваш путь

dt <- read.csv(file = way,header = T,sep = ";") #  читаем файл

target <- dt$Target_100 #  целевую в отдельную переменную

dt <- dt[, ! colnames(dt)  %in% 
           #            c("Target_100_Buy","Target_100_Sell",
           #             "Time","Target_100")  ] #  удаляем не нужные колонки
                      c("Target_100")  ] #  удаляем не нужные колонки

km <- kmeans(um$layout, centers = 4)           

#  роскоментируем и Устанавливаем нужные пакеты после чего эту строку можно удалить
#install.packages(c("rgl", "car" , "umap"))



#  про umap
#https://cran.r-project.org/web/packages/umap/vignettes/umap.html
#https://github.com/ropenscilabs/umapr

library(umap)
um <- umap(dt,n_components=3)   
#  n_components=3  во сколько измерений уменьшаем данные, можно 100 можно 1
#  можно 333, но нам для 3 д надо трех мерное пространство поетому у нас n_comp=3
um.res <- um$layout #  наши три вектора выход 



#тут  все настройки по пакету  car
#  http://www.sthda.com/english/wiki/amazing-interactive-3d-scatter-plots-r-software-and-data-visualization
library(car)  # 3 d

target <- as.factor(target)  #   target нужен для того чтобы окрасить точки в цвет целевой

scatter3d(x = um.res[,1], 
          y = um.res[,2], 
          z = um.res[,3],
          groups = as.factor(km$cluster),
          grid = FALSE, 
          surface = FALSE,
          ellipsoid = TRUE,
            bg.col = "black")


write.csv(km$cluster, file = "F:\\FX\\R\\2020_04_11_Pred_New_Full\\Pred.csv", sep = ";",row.names = F,col.names = T)
 
Aleksey Vyazmikin:

1. Vous avez dû mal comprendre la question - il s'agit de télécharger les règles dans un fichier, et il y a des règles, comme le confirme le point 2.

2. C'est bien.

3. Corrélation élevée probable entre les prédicteurs, y compris après la conversion ? Est-il possible d'obtenir une liste des prédicteurs retirés ou ne sont-ils pas retirés mais fusionnés dans des groupes - je n'arrive pas à comprendre.

4. Peut-être que j'ai mal compris le code ou que je l'ai mal regroupé, je vais le réafficher.

1. Je ne le comprends toujours pas.

3. il ne peut y avoir de caractéristiques corrélées après la transformation. Oui, nous pouvons dire qu'ils sont fusionnés dans d'autres structures (attributs), mais sans redondance.

4.

dt <- dt[, ! colnames(dt)  %in% 
           #            c("Target_100_Buy","Target_100_Sell",
           #             "Time","Target_100")  ] #  удаляем не нужные колонки
                      c("Target_100")  ] #  удаляем не нужные колонки

les thèses sont une expression, c'est-à-dire qu'on ne peut pas les commenter ;))

Raison: