Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3303

[Удален]

Вот списочек поддерживаемых от самого сайта

https://onnx.ai/sklearn-onnx/supported.html

Спасибо за готовые примеры в статье.

Supported scikit-learn Models#
  • onnx.ai
, # This version of the operator has been available since version 13. Absolute takes one input data (Tensor ) and produces one output data (Tensor ) where absolute value, y = abs(x), is applied to the tensor elementwise. T tensor(uint8), tensor(uint16), tensor(uint32), tensor(uint64), tensor(int8), tensor(int16), tensor(int32), tensor(int64...
Petros Shatakhtsyan #:


Тогда еще брокеры не собирали тиковые значения. И это сделал сам. Собирал реальные тики и по порциям хранил в файлах около 6 месяцев. Применил их на тестере и получил совсем другую картину.


вам повезло что решились когда-то заниматься толковым делом..это сейчас брокеры уже не собирают тиковые котировки, а берут/предоставляют откуда-то причёсанные; возможно связано с обновлениями серверной части MT.

Подчас невооружённым глазом видно - вот свежие тики, а вот пошло общее гонево. И даже с минутками

на самом деле архивы реальных  тиков какими они действительно были, поступали от конкретного DC - очень дорогой товар. (даже через подчёркивание)

Petros Shatakhtsyan #:

Я удивляюсь что вы удивляетесь.

Не могу объяснить, так вернее. Одно дело - написать тиковый скальпер для сгенерированных, сделав грааль. Другое - совсем не скальпер, с закрытием через SL, который был выставлен заранее. На сгенерированных тиках SL исполняется с отрицательным проскальзыванием. Но все равно граалит.
Maxim Kuznetsov #:

вам повезло что решились когда-то заниматься толковым делом..это сейчас брокеры уже не собирают тиковые котировки, а берут/предоставляют откуда-то причёсанные; возможно связано с обновлениями серверной части MT.

Подчас невооружённым глазом видно - вот свежие тики, а вот пошло общее гонево. И даже с минутками

на самом деле архивы реальных  тиков какими они действительно были, поступали от конкретного DC - очень дорогой товар. (даже через подчёркивание)

Вы ошибаетесь. Каждый брокер сам собирает реальные тики и на тестере на следующий день можно получить реальные тики предыдущего дня. 

И именно те тики, которые после фильтрации подает брокер на МТ5. Это можно проверить в режиме "Every tick based on real ticks", или скопировать.

[Удален]

Хорошая бумага, как правильно делать репрезентацию ВР для нейросетей. От ФФТ, конечно, можно избавиться. И дальше сравнение разных моделей.

Принципиальное отличие в том, что препроцессинг встроен в архитектуру сети. Но можно сделать и отдельно.

LSTM курит в сторонке, потому что не учитывает интерпериодные вариации.

Бустинг тоже где-то внизу рейтинга, на основании их тестов.
Maxim Dmitrievsky #:

Хорошая бумага, как правильно делать репрезентацию ВР для нейросетей. От ФФТ, конечно, можно избавиться. И дальше сравнение разных моделей.

Принципиальное отличие в том, что препроцессинг встроен в архитектуру сети. Но можно сделать и отдельно.

LSTM курит в сторонке, потому что не учитывает интерпериодные вариации.

Бустинг тоже где-то внизу рейтинга, на основании их тестов.
Уровень текста весьма высокий, но они применяют свою науку к рядам с мультипериодичностью, а это явно не цены. Хотя, конечно, местные радиолюбители поспорят)
Не так давно на форуме кто-то давал название эффекта (не нашёл пока), из-за которого ряды близкие к СБ кажутся имеющими период. С этим эффектом связано немало позорных моментов в науке, когда посредством Фурье "находили" периодичность в процессах, да и радиолюбители из-за него на форуме никогда не переведутся)
Кто-нибудь может мне обяснить проблему множественного тестирования.
Почему чем больше было итераций при оптимизации тем больше вероятность переобучения


Нет я понимаю что чем больше ищешь(итерации) тем больше вероятность найти что то случайное что будет выглядеть как НЕслучайное..  

Но если мы придумали какую то идею ,а  потом подобрали параметры к ней за 10 итераций , а не за 10000 то можно ли это считать непереобучной моделью?

Ведь сама фраза "мы придумали" подразумевает  тоже некий мыслительный перебор (итерации)


Откуда конечной модели знать какие это были итерации, мозговые или копютерные и есть ли разница между тем и другим?


Вопрос возник после почтения статьи Прадо

Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance
  • papers.ssrn.com
We prove that high simulated performance is easily achievable after backtesting a relatively small number of alternative strategy configurations, a practice we
Aleksey Nikolayev #:
Не так давно на форуме кто-то давал название эффекта (не нашёл пока), из-за которого ряды близкие к СБ кажутся имеющими период. С этим эффектом связано немало позорных моментов в науке, когда посредством Фурье "находили" периодичность в процессах, да и радиолюбители из-за него на форуме никогда не переведутся)

Как доказывается обратное?

На мой взгляд есть события привязанные ко времени - те же новости. Думаю, если разделить на три подвыборки - ожидаемая, хуже, лучше и учесть контекст, то будет заметно схожее поведение участников рынка.

Другой вариант - сезонность товаров.

mytarmailS #:
Кто-нибудь может мне обяснить проблему множественного тестирования.
Почему чем больше было итераций при оптимизации тем больше вероятность переобучения


Нет я понимаю что чем больше ищешь(итерации) тем больше вероятность найти что то случайное что будет выглядеть как НЕслучайное..  

Но если мы придумали какую то идею ,а  потом подобрали параметры к ней за 10 итераций , а не за 10000 то можно ли это считать непереобучной моделью?

Ведь сама фраза "мы придумали" подразумевает  тоже некий мыслительный перебор (итерации)


Откуда конечной модели знать какие это были итерации, мозговые или копютерные и есть ли разница между тем и другим?


Вопрос возник после почтения статьи Прадо

Переобучение возникает в связи с запоминанием редких явлений. Эти явления выделяются чисто статистически, так как нет модели, описывающей причину и следствие.

При этом убыток - не всегда значит, что модель переобучена.