Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3681

Что ли тоже начать разоряться про хейтеров) Хейтеров здравого смысла, основ МО и науки как таковой.

Наука часто сочетает в себе индуктивные и дедуктивные методы. Сначала от частного к общему - строятся модели на основе данных, а потом от общего к частному - модели проверяются на новых данных. Например, глядя на одни деревья строится предположение о направлении гравитации против направления их роста, на основе которого делается предположение о любых деревьях, которое проверяется на новых деревьях. Без такого подхода многих наук (вроде космологии, например) не существовало бы вообще.

К слову, размеры и формы облаков подчиняются интересным вероятностным закономерностям фрактального характера.

Aleksey Nikolayev #:

Вы явно хотите говорить о своём наболевшем, используя моё сообщение просто как повод для этого. В принципе, понимаю что вы хотели сказать и согласен что это очень важно, но у меня речь о другом.

В контексте моего сообщения речь идёт просто о стандартных условиях для алгоритмов, которые собирают в ансамбль - ошибка меньше чем у наивного алгоритма (ещё нужна независимость конечно)

Ваш пост - не повод для моего поста.

Это не о наболевшем. Это база.

Бессмысленно писать об общей работоспособности модели, которую подменяют частным критерием в рамках одного файла, которые полностью опровергаются показателями работоспособности в общем.

Я шел пло Вашему пути и имею замечательные результаты: могу произвольно уменьшим ошибку классификации при тестировании в границах заранее подготовленного файла. Но эти результаты НЕ удается экстраполировать вне файла при пошаговом прогоне. 

mytarmailS #:
В моем понимании ваш "бустинг ансамбля ТС" с посоянныым усложнением ансамбля - это просто итерацыонное создание одной но сложной ТС с итерацыонным улучшением еквити. А как практика показала (у меня)  это не работает именно из за высокой сложности 
Возможно и так. Хотелось бы только уточнить, что исходные "слабые" системы не обязательно получены посредством МО. Например, это может быть "купи и держи" на растущем рынке с неожиданными коррекциями.
Maxim Dmitrievsky #:

Если не путаю, вы раньше много писали про бутстреп для размножения данных и, соответственно, моделей. Интересно ваше мнение насколько осмысленно это можно использовать для построения ансамбля ТС.

Ivan Butko #:

В этом есть смысл, но учитывая, что у нас нет фундаментальных входных данных для машины (или они скудные-недостаточные), то приходится сидеть с тем, что есть. 

И тут мысль такая: косвенные признаки. По аналогии с природой: мох растёт с северной стороны. И вот уже известна опора для координат. И тд. 

Получается, мы ищем именно косвенные признаки в хаосе графике. Косвенные следы фундамента, каких-то действий крупняка, и тд. В этом и есть смысл машины: найти их. 

Грубо говоря, смысл ковыряться в графике всё-таки есть. 

Просто делаем предположение, что события на графике происходят под влиянием неких законов (неважно каких законов, будь то фундаментал, действия крупняка или пук Маска). Если нет на графике законов (скрытых или явных), то и смысла нет пытаться торговать.

Это сравни наблюдению за происходящим в природе, как падают листья, течет вода, с какой стороны растет мох на камнях и деревьях, и т.д.. Это не позволит напрямую прогнозировать расположение деревьев дальше по лесу, но это позволит делать предположения, по крайней мере, где деревья расти не могут, где не может быть воды или наоборот - где может быть много воды.

Так что да, грубо говоря, смысл ковыряться в графике всё-таки есть.

«Безумие: делать одно и то же снова и снова, и ждать при этом разных результатов».

[Удален]
Генераторы случайного текста закономерно мигрировали в другую тему :)
[Удален]
Aleksey Nikolayev #:

Если не путаю, вы раньше много писали про бутстреп для размножения данных и, соответственно, моделей. Интересно ваше мнение насколько осмысленно это можно использовать для построения ансамбля ТС.

Генеративные модели как-то справляются. Там в комментариях то ли к этой, то ли к какой-то другой статье делал ансамблирование, уже не вспомню :)

Продвинутый ресемплинг и выбор CatBoost моделей брутфорс методом
Продвинутый ресемплинг и выбор CatBoost моделей брутфорс методом
  • www.mql5.com
В данной статье описан один из возможных подходов к трансформации данных для улучшения обобщающей способности модели, а также рассмотрен перебор моделей CatBoost и выбор лучшей из них.
[Удален]
Maxim Dmitrievsky #:

Генеративные модели как-то справляются. Там в комментариях то ли к этой, то ли к какой-то другой статье делал ансамблирование, уже не вспомню :)

Да, начиная отсюда и пара страниц с примерами. Вроде бы модели на синтетических данных (в конце попыток, на второй странице) неплохо ансамблировались.

Обсуждение статьи "Продвинутый ресемплинг и выбор CatBoost моделей брутфорс методом" - Лучшая класстеризация на хорошие плохие наборы проводится из случайного набора признаков, не полного набора.
Обсуждение статьи "Продвинутый ресемплинг и выбор CatBoost моделей брутфорс методом" - Лучшая класстеризация на хорошие плохие наборы проводится из случайного набора признаков, не полного набора.
  • 2020.11.24
  • Forester
  • www.mql5.com
Усреднение с плохим классификатором ухудшает общий результат. Надеюсь найдете время для сравнения усредненного и лучшего результатов на экзаменационной выборке. как показала практика не сильно ухудшает результат
[Удален]

Пробовал разные методы генерации, из них порадовал только GMM, поэтому статья только с его участием.

Рейтинг герераторов (по памяти):

  • GMM
  • copulas
  • autoencoders, в т.ч. условные (уже плохо), либо не хватило понимания как лучше использовать.
  • GAN (тоже плохо + медленно)
  • GAN на трансформерах и другие сложные модели. (tGAN, tsGAN) Очень медленно и очень плохо.
  • Другие очень плохие способы...
Уже есть разные пакеты для генерации синтетических табличных данных и тайм-серий, не слежу за развитием.

Можно наверное попросить какой-нибудь бредогенератор погенерить :)
Maxim Dmitrievsky #:

Да, начиная отсюда и пара страниц с примерами. Вроде бы модели на синтетических данных (в конце попыток, на второй странице) неплохо ансамблировались.

Спасибо, есть над чем задуматься.