ФорумРазделы

Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3090

Новый комментарий
[Удален]
   
Forester #:

На 8-й странице пока. И это еще вступление))
Похое что это будет сравнение по Шарпу (но пишут, что  можно любой др. показатель) на кросс валидации.

как я понял там надо оптимизировать 4  параметра

summary(my_pbo)
Performance function Omega with threshold 1

      p_bo      slope       ar^2     p_loss 
 0.3714286  1.6891000 -0.0140000  0.3430000
  • p_bo  (вероятность переобучения в бэктесте) должна быть близка к 0, что указывает на низкий риск переобучения.
  • slope  (коэффициент наклона линейной регрессии) должен быть близок к 1, что указывает на сильную линейную зависимость между значениями метрики производительности для обучающего и тестового подмножеств.
  • ar^2  (скорректированный коэффициент детерминации) должен быть близок к 1, что указывает на хорошую точность линейной регрессии.
  • p_loss  (доля значений метрики производительности для тестового подмножества, которые ниже заданного порога) должна быть близка к 0, что указывает на то, что большинство значений метрики производительности для тестового подмножества выше заданного порога.

Однако следует отметить, что эти показатели могут зависеть от выбранной метрики производительности и порогового значения


Нужна многокритериальая оптимизация по Парето фронту по ходу

mytarmailS #:

как я понял там надо оптимизировать 4  параметра

  • p_bo  (вероятность переобучения в бэктесте) должна быть близка к 0, что указывает на низкий риск переобучения.
  • slope  (коэффициент наклона линейной регрессии) должен быть близок к 1, что указывает на сильную линейную зависимость между значениями метрики производительности для обучающего и тестового подмножеств.
  • ar^2  (скорректированный коэффициент детерминации) должен быть близок к 1, что указывает на хорошую точность линейной регрессии.
  • p_loss  (доля значений метрики производительности для тестового подмножества, которые ниже заданного порога) должна быть близка к 0, что указывает на то, что большинство значений метрики производительности для тестового подмножества выше заданного порога.

Однако следует отметить, что эти показатели могут зависеть от выбранной метрики производительности и порогового значения

Слишком коротко, чтобы понять что это за парметры. вот подробнее из статьи стр 13 (если пакет полностью воспроизводит методы в статье, но может и что-то другое добавили/убавили)

Overfit statistics
The framework introduced in Section 2 allows us to characterize the relia-
bility of a strategy’s backtest in terms of four complementary analysis:
1. Probability of Backtest Overfitting (PBO): The probability that the
model configuration selected as optimal IS will underperform the me-
dian of the N model configurations OOS.
2. Performance degradation: This determines to what extent greater per-
formance IS leads to lower performance OOS, an occurrence associated
with the memory effects discussed in Bailey et al. [1].
3. Probability of loss: The probability that the model selected as optimal
IS will deliver a loss OOS.
4. Stochastic dominance: This analysis determines whether the proce-
dure used to select a strategy IS is preferable to randomly choosing
one model configuration among the N alternatives

Далее каждый пункт рассматривается подробнее.

Forester #:

Слишком коротко, чтобы понять что это за парметры. вот подробнее из статьи стр 13 (если пакет полностью воспроизводит методы в статье, но может и что-то другое добавили/убавили)

пакет просто ужасен, никогда за годы не видел такого партака

код ужасен 

документация практически никакая

как его в CRAN пропустили я не понимаю


Я до сих пор понять не могу, там одна торговая система иследуеться поделена на батчи или это несколько ТС  (в это библиотеке)

mytarmailS #:

Я до сих пор понять не могу, там одна торговая система иследуеться поделена на батчи или это несколько ТС  (в это библиотеке)

Выбор лучшей модели среди множества полученных при разных параметрах/гиперпараметрах. На вход даем матрицу, где каждый столбец - прогноз одной из моделей.

А может нет. Пока тоже не понял
Forester #:

Выбор лучшей модели среди множества полученных при разных параметрах/гиперпараметрах. На вход даем матрицу, где каждый столбец - прогноз одной из моделей.

с эти я уже разобрался

не понятно как с результатом работать

подаю один столбец (одна ТС)

результат 

summary(my_pbo)
Performance function Omega with threshold 1

  p_bo  slope   ar^2 p_loss 
0.0000 2.2673 0.9700 0.3710

подаю 5 столбцов (пять ТС)

получаю тоже одну строку

summary(my_pbo)
Performance function Omega with threshold 1

     p_bo     slope      ar^2    p_loss 
0.3428571 1.9081000 0.0440000 0.2860000

должно же быть 5 строк , или если это рез. от лучшей ТС то должен быть мндекс лучшей..


ля убил бы этого автора

Forester #:

Выбор лучшей модели среди множества полученных при разных параметрах/гиперпараметрах. На вход даем матрицу, где каждый столбец - прогноз одной из моделей.

А может нет. Пока тоже не понял

Это ведь можно интрерпретировать как взятие ретурнов прибыли ТС  с       разных участков рынка (  параметрах/гиперпараметрах )  ???



 разных участков рынка  ==  параметрах/гиперпараметрах   ?

mytarmailS #:

Это ведь можно интрерпретировать как взятие ретурнов прибыли ТС  с       разных участков рынка (  параметрах/гиперпараметрах )  ???

Именно ретурны прибыли.

mytarmailS #:

 разных участков рынка  ==  параметрах/гиперпараметрах   ?

Как  понял именно настройки: разные периоды МА, SL и т.д.

mytarmailS #:

получаю тоже одну строку

должно же быть 5 строк , или если это рез. от лучшей ТС то должен быть мндекс лучшей..

В итоге получаете общую оценку модели (и наверное данных предикторов и целевой)
Плохая модель дает такие исходы (всего 17% исходов на ООС выше 0)

Хорошая модель - 95% результатов ООС - выше 0

Forester #:

Именно ретурны прибыли.

ну прибылей и убытков верно?

кароч берем ретурны от тех состояний когда позиция открыта

Forester #:

Как  понял именно настройки: разные периоды МА, SL и т.д.

вместо разных настроек ТС я возьму просто торговлю на раных участках , дума это можно приравнять

1...308330843085308630873088308930903091309230933094309530963097...3746
Новый комментарий