Régression bayésienne - Est-ce que quelqu'un a fait un EA en utilisant cet algorithme ? - page 38

 
Vasiliy Sokolov:
Je souscris à chaque mot. Quel est l'intérêt de construire une régression si, à la section suivante, les caractéristiques de cette régression seront absolument différentes. Vous pouvez modifier le modèle pour l'adapter aux données autant que vous le souhaitez, mais il est plus facile d'admettre que Y (prix) ne dépend pas de X (temps), du moins en termes de régression linéaire.

C'est un autre exemple de bon sens.

Un de mes collègues étudiait la science des données dans Coursera et a réalisé un projet de fin d'études dans lequel il a construit une approximation de régression linéaire sur une série générée de manière aléatoire (une martingale, ou vous pourriez dire un processus de Wiener avec des incréments normalement distribués) et a démontré comment, sur le segment suivant de la série, tous les paramètres de régression ont dérivé de manière totalement imprévisible. Problème de jouets.

Si je devais utiliser la régression (je pencherais pour la régression en peigne, bien que je ne connaisse pas très bien le principe), je le ferais sur les incréments de prix ou les dérivés de prix. Et puis il y a la possibilité d'obtenir des métriques robustes. Mais même dans ce cas, il est irréaliste d'obtenir des résidus normalement distribués.

 
Alexey Burnakov:

C'est un autre exemple de bon sens.

Un de mes collègues étudiait la science des données dans Coursera et a réalisé un projet de fin d'études dans lequel il a construit une approximation de régression linéaire sur une série générée de manière aléatoire (une martingale, ou vous pourriez dire un processus de Wiener avec des incréments normalement distribués) et a démontré comment, sur le segment suivant de la série, tous les paramètres de régression ont dérivé de manière totalement imprévisible. Problème de jouets.

Si je dois utiliser la régression (je pencherais pour la régression en peigne, bien que je ne la connaisse pas très bien, seulement le principe), je devrais le faire sur des incréments de prix ou des dérivés de prix. Et puis il y a la possibilité d'obtenir des métriques robustes. Mais même dans ce cas, il est irréel d'obtenir des résidus normalement distribués.

;)

Pour la régression ridge, la normalité de la distribution des résidus n'est pas requise.

Larégression bayésienne est similaire à la régression en peigne, mais elle est basée sur l'hypothèse que le bruit est normalement distribué dans les données - on suppose donc qu'il existe déjà une compréhension générale de la structure des données, ce qui permet d'obtenir un modèle plus précis par rapport à la régression linéaire.

 
La régression ridge résout le problème de la multicollinéarité - s'il y a tant de variables indépendantes corrélées les unes aux autres
 
Дмитрий:

;)

Pour la régression ridge, la normalité de la distribution des résidus n'est pas requise.


Eh bien, j'avoue que je ne connais pas très bien la sous-espèce de régression. Mais le fait que la normalité des résidus ne soit pas requise est une très bonne chose. Et la régression ridge peut être plus applicable aux marchés. Des restrictions sont imposées sur les valeurs des coefficients. Je connais des exemples où ce type de régression sur les citations a donné des résultats robustes.

Il existe également une régression avec la régulation L2 lorsqu'il est possible de dégénérer les coefficients de certains régresseurs à zéro. Elle est utile lorsqu'il y a beaucoup de régresseurs et que nous devons réduire la dimensionnalité du vecteur d'entrée.

Mais sans connaître les détails, il peut être dangereux de s'aventurer dans le labyrinthe de la matrice de régression.

 
Дмитрий:
La régression ridge résout le problème de la multicollinéarité - s'il y a tant de variables indépendantes corrélées les unes aux autres

Et c'est également un aspect extrêmement utile de la régression ridge.

Dans la pratique, obtenir l'indépendance entre les régresseurs est presque irréalisablement difficile, et la présence de colinéarité fausse toutes les statistiques d'une régression linéaire ordinale. Par conséquent, comme le souligne à juste titre SanSanych, l'applicabilité de la méthode passe avant tout.

 
Alexey Burnakov:


Il existe également une régression avec la régulation L2, lorsqu'il est possible de dégénérer à zéro les coefficients des régresseurs individuels. Ceci est utile s'il y a beaucoup de régresseurs et que nous devons réduire la dimensionnalité du vecteur d'entrée.


Lasso-régression ? Oui, ça existe.

En pratique, il est plus pratique d'utiliser la régression ridge - elle est mise en œuvre comme une régression avec des inclusions ou des exclusions de facteurs.

 
Дмитрий:

Régression Lasso ? Oui, ça existe.

En pratique, la régression ridge est plus pratique - elle est mise en œuvre comme une régression avec des inclusions ou des exclusions de facteurs.

Oui, ça l'est.

Voici un exemple d'utilisation de régressions robustes pour prédire des citations, la 3e place du concours, mais sans les détails: http://blog.kaggle.com/2016/02/12/winton-stock-market-challenge-winners-interview-3rd-place-mendrika-ramarlina/.

Et un autre exemple magnifique, à mon avis: https://www.kaggle.com/c/battlefin-s-big-data-combine-forecasting-challenge/forums/t/5966/share-your-approach.

Lisez Sergey Yurgenson et voyez son code (2e place dans un autre concours) :

Mon algorithme a été écrit sur Matlab et le code sera fourni ci-dessous. L'idée principale de l'algorithme est d'utiliser un modèle de régression linéaire (régression robuste) en utilisant un petit nombre de prédicteurs, qui sont choisis en fonction de la valeur p de chaque prédicteur potentiel.

Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
  • 2016.12.02
  • blog.kaggle.com
The Stock Market Challenge, Winton's second recruiting competition on Kaggle, asked participants to predict intra and end of day stock returns. The competition was crafted by research scientist at Winton to mimic the type of problem that they work on everyday. Mendrika Ramarlina finished third in the competition with a combination of simple...
 

Et à propos de la régulation L1 / L2: https://msdn.microsoft.com/ru-ru/magazine/dn904675.aspx

Dans tous les cas, il est utile d'apprendre à se connaître.

 
Alexey Burnakov:

Et c'est également un aspect extrêmement utile de la régression ridge.

Dans la pratique, obtenir l'indépendance entre les régresseurs est presque irréalisablement difficile, et la présence de colinéarité fausse toutes les statistiques d'une régression linéaire ordinale. Par conséquent, comme le souligne à juste titre SanSanych, l'applicabilité de la méthode passe avant tout.

J'ai essayé la méthode des composantes principales. Cela semble être l'idéal. La transformation aboutit à un ensemble de régresseurs ayant une corrélation nulle entre eux. Vous pouvez toujours choisir les "principaux" qui expliquent la diversité principale.

Cela a fait perdre beaucoup de temps pour les tâches de classification. Au moins pour réduire l'erreur de %.

 
СанСаныч Фоменко:

J'ai essayé la méthode des composantes principales. Cela semble être l'idéal. La transformation aboutit à un ensemble de régresseurs ayant une corrélation nulle entre eux. Il est également possible de sélectionner les "principaux" qui expliquent l'essentiel de la diversité.

Cela a fait perdre beaucoup de temps pour les tâches de classification. Au moins pour réduire l'erreur de %.

Je discutais récemment avec des collègues de l'histoire et du développement de la régression linéaire. Pour faire court, au départ, il y avait peu de données et peu de prédicteurs. Régression linéaire ordinaire gérée avec quelques hypothèses. Puis, avec le développement des technologies de l'information, la quantité de données a augmenté et le nombre de prédicteurs peut facilement dépasser des dizaines de milliers. Dans ces conditions, la régression linéaire ordinaire ne sera d'aucune utilité - sur-éduquer. Des versions régularisées sont donc apparues, des versions robustes aux exigences des distributions, etc.
Raison: