L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 2239

 
Fast235:

clavier mince+touch, l'un ou l'autre sera défectueux

celui-ci est définitivement défectueux.

 
J'ai téléchargé les fichiers (échantillon) de ce concours que je ne peux pas mentionner, et ils sont tous au format .parguet, je pense avoir trouvé une solution, mais j'ai besoin de python, quelqu'un peut-il les convertir en csv ?
Convert Parquet to CSV
Convert Parquet to CSV
  • 2018.07.06
  • Joe Joe 7,987 10 10 gold badges 50 50 silver badges 110 110 bronze badges
  • stackoverflow.com
How to convert Parquet to CSV from a local file system (e.g. python, some library etc.) but WITHOUT Spark? (trying to find as simple and minimalistic solution as possible because need to automate everything and not much...
 
elibrarius:

Le marché, les participants et leurs algorithmes évoluent au fil du temps. Il est étrange que vous attendiez un système stable formé une fois. Se réentraîner une fois par semaine ou tous les jours (sur les arbres, c'est rapide).

Il s'agit d'une question philosophique :)

Vous devez comprendre à quelle vitesse le marché évolue, la fréquence des recyclages en dépend, comment mesurer cela ?

Je pense que le marché est composé de nombreuses prédispositions différentes, leur ensemble est limité, et je n'enseigne que le modèle permettant d'identifier cette prédisposition et de gagner de l'argent grâce à elle.

 
Vladimir Perervenko:

Pourquoi n'aimez-vous pas les trucs prêts à l'emploi ? En fait, vous n'avez besoin que de la partie responsable de la communication entre MKL et Python (ZeroMQ).

Bonne chance

Je ne le savais pas)) Merci !

 
Maxim Dmitrievsky:

Seulement, je ne comprends pas bien pourquoi se compliquer la tâche avec des images, alors qu'on peut le faire avec 1d convolution ? :) une photo n'ajoute aucune information à la rangée

Oui, vous avez raison, si un vecteur caractéristique est converti en matrice et soumis à une convolution, peu de choses changeront( j'ai déjà vérifié :))) Dans mon cas, l'idée est d'utiliser au maximum les propriétés du réseau convolutif pour trouver et utiliser des modèles locaux. Ces motifs sont invariants par rapport à la translation, c'est-à-dire qu'une convolution multicouche peut trouver le même motif à différents endroits de l'image. La même architecture avec une réduction agressive intermédiaire de la carte des caractéristiques permet de former une hiérarchie entre les modèles dans les différentes couches de convolution. J'essaie donc de trouver une telle interprétation graphique de la citation qui permette à la convolution de trouver ces modèles.

 
welimorn:

Oui, vous avez raison, si le vecteur de caractéristiques est converti en matrice et transmis à la convolution, il n'y aura pas beaucoup de changement( déjà vérifié :))) Dans mon cas, l'idée est d'utiliser au maximum la propriété du réseau de convolution de rechercher et d'utiliser des modèles locaux. Ces motifs sont invariants par rapport au transfert, c'est-à-dire que la convolution multicouche peut retrouver le même motif à différents endroits de l'image. De même, une architecture avec une réduction agressive intermédiaire de la carte des caractéristiques permet de former une hiérarchie entre les modèles sur différentes couches de convolution. J'essaie donc de trouver une interprétation graphique d'une citation qui permette à la convolution de trouver ces modèles.

Et comment convertir un vecteur en une matrice ?

 
welimorn:

Oui, vous avez raison, si le vecteur de caractéristiques est converti en matrice et transmis à la convolution, il n'y aura pas beaucoup de changement( déjà vérifié :))) Dans mon cas, l'idée est d'utiliser au maximum la propriété du réseau de convolution de rechercher et d'utiliser des modèles locaux. Ces motifs sont invariants par rapport au transfert, c'est-à-dire que la convolution multicouche peut retrouver le même motif à différents endroits de l'image. De même, l'architecture avec réduction agressive intermédiaire de la carte des caractéristiques nous permet de former une hiérarchie entre les modèles sur les différentes couches de convolution. J'essaie donc de trouver une interprétation graphique d'une citation qui permette à la convolution de trouver ces modèles.

Au fait. Est-il juste que nous cherchions des modèles à différents endroits du graphique ?
Je ne pense pas.
Par exemple, nous avons trouvé un modèle à 20 points après lequel nous devrions acheter. Et si cette configuration n'était pas sur la barre 0-m mais il y a 20-50-200 barres et qu'il est trop tard pour acheter, nous devrions vendre. L 'autre le trouvera et l'achètera. Il répondra à la question de savoir si le motif se trouvait à la section du graphique qui lui est montrée. Mais nous devons rechercher le modèle uniquement dans la partie droite du graphique, c'est-à-dire à la 0e mesure.

Il s'avère donc que les réseaux convolutifs ne conviennent pas pour travailler avec des citations. L'apparition du motif à un autre endroit que la 0ème mesure ne fera que nuire à un travail profitable.
Si le graphique a 100 points et le modèle en a 20. Alors le réseau de convolution signalera qu'il y a un motif 80 fois ! !!

J'allais les faire, mais j'ai changé d'avis.
 
welimorn:

Oui, vous avez raison, si le vecteur de caractéristiques est converti en matrice et transmis à la convolution, il n'y aura pas beaucoup de changement( déjà vérifié :))) Dans mon cas, l'idée est d'utiliser au maximum la propriété du réseau de convolution de rechercher et d'utiliser des modèles locaux. Ces motifs sont invariants par rapport au transfert, c'est-à-dire que la convolution multicouche peut retrouver le même motif à différents endroits de l'image. De plus, l'architecture avec réduction agressive intermédiaire de la carte des caractéristiques permet de former une hiérarchie entre les modèles sur différentes couches de convolution. J'essaie donc de trouver une interprétation graphique d'une citation qui permette à la convolution de trouver ces modèles.

Vous pouvez essayer les graphiques de récurrence. Je l'ai fait, mais ça n'a pas marché, et c'est encore lent.

 
Maxim Dmitrievsky:

vous pouvez essayer les graphiques de récurrence. Je l'ai fait, mais ça n'a pas marché, et c'est lent, encore.

ou une décomposition en série, PCA par exemple avec une transformation inverse....

on peut décomposer la série en atomes et les réassembler.


voici les deux premiers composants dans la fenêtre de 100

voici les composants 2 et 3

voici les composants 3 et 4

voici les composants 30 et 31

comme ça tu peux décomposer jusqu'à 100, un truc cool...

tout cela sur de nouvelles données, sans lag etc...


......

......

.....

Huh... La plupart des gens ne comprenaient même pas du tout de quoi je parlais. )))) probablement))

 
mytarmailS:

ou décomposition de séries, PCA par exemple avec transformation inverse....

la série peut être atomisée et réassemblée


voici par exemple les deux premiers composants de la fenêtre 100

voici les composants 2 et 3

voici les composants 3 et 4

voici les composants 30 et 31

comme ça tu peux décomposer jusqu'à 100, un truc cool...

tout cela sur de nouvelles données, sans lag etc...


......

......

.....

Huh... La plupart des gens ne savent même pas du tout de quoi je parle. )))) ))

Ça, c'est sûr. La plupart ne comprenaient pas du tout de quoi vous parliez. C'est comme ça que c'est censé être.

Vous êtes arrivé par des chemins détournés à la construction, bien connue, largement appliquée dans la pratique et qui a fait ses preuves, appelée "système de suivi nonius". Et même si ce n'est pas encore tout à fait le cas, vous avez compris l'essentiel.

Raison: