Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 610

 
Vladimir Perervenko:
Внутри функции darch() есть параметр seed = NULL по умолчанию. установите его в какое то состояние, например seed = 12345. 

Это маленькое значение learnRate. Начните с learnRate = 0.7, numEpochs = 10  для RBM и NN. Но это потолочные данные. Нужно оптимизировать под конкретный набор данных.

Удачи

А если захочется ансамбль сделать, то set.seed() лучше убрать, верно? Чтобы сетки отличались. Либо set.seed(N сети) - для воспроизводимости всего ансамбля.
 
elibrarius:
А если захочется ансамбль сделать, то set.seed() лучше убрать, верно? Чтобы сетки отличались. Либо set.seed(N сети) - для воспроизводимости всего ансамбля.

Да, верно. Ансамбль из таких сложных моделей (имею в виду darch) могут содержать не более 3-5 штук. И они должны быть сильно различны. Т.е. они должны иметь разные значения параметров(количество слоев, нейронов, функций активации и т.д), или (много других вариантов не буду сейчас расписыать). Вариант ансамбля одинаковой структуры  обученных с различной начальной инициализацией может быть, но он слаб. По крайней мере сделайте вид начальной инициализации различным.

Удачи

 
Vladimir Perervenko:

Да, верно. Ансамбль из таких сложных моделей (имею в виду darch) могут содержать не более 3-5 штук. И они должны быть сильно различны. Т.е. они должны иметь разные значения параметров(количество слоев, нейронов, функций активации и т.д), или (много других вариантов не буду сейчас расписыать). Вариант ансамбля одинаковой структуры  обученных с различной начальной инициализацией может быть, но он слаб. По крайней мере сделайте вид начальной инициализации различным.

Удачи

Ну если гонять  процессор на множестве обучений по одним и тем же данным для определения лучшей структуры, то уж лучше результаты в ансамбль поместить. Если считать самым простым вариантом - сеткой с шагом нейронов в 5 или в процентах (с таким шагом и модели будут хорошо отличаться), то по результатам взять 3-5 или 10 самых лучших результатов и по ним усреднять. Все равно модели уже будут построены и расчитаны, что добру зря пропадать то? ))

 
elibrarius:

Ну если гонять  процессор на множестве обучений по одним и тем же данным для определения лучшей структуры, то уж лучше результаты в ансамбль поместить. Если считать самым простым вариантом - сеткой с шагом нейронов в 5 или в процентах (с таким шагом и модели будут хорошо отличаться), то по результатам взять 3-5 или 10 самых лучших результатов и по ним усреднять. Все равно модели уже будут построены и расчитаны, что добру зря пропадать то? ))


как у вас успехи в целом с этими моделями? стоит вообще лезть? :) а то обсуждение идет а результаты никто не оглашает

может какие-то бенчи по сравнению с персептроне или gbm. Для форекса, разумеется.

 
Maxim Dmitrievsky:

 :) а то обсуждение идет а результаты никто не оглашает

Если считать за результат график профита, то результатов и не будет. А большинству, даже на этой ветки, кроме графика профита ничего и не надо. Единственное доказательство, других мы просто не понимаем.
 
Maxim Dmitrievsky:

как у вас успехи в целом с этими моделями? стоит вообще лезть? :) а то обсуждение идет а результаты никто не оглашает

На тестовом участке, как и у большинства  ошибка на грани 50%. Но по крайней мере считает в десятки раз быстрее Alglib-а. Если тут за 40-100 минут расчет модели, то на Alglib-е больше суток ждал ту же самую структуру, не дождался и отключил расчет.
Хотя если теперь придется подбирать модели в цикле, то это опять уйма времени на это уйдет.... Еще и запрограммировать это дело надо.
В общем это надолго, как вы не ставлю себе лимитов по времени на МО.

Интересно - вот и копаюсь)

 
Yuriy Asaulenko:
Если считать за результат график профита, то результатов и не будет. А большинству, даже на этой ветки, кроме графика профита ничего и не надо. Единственное доказательство, других мы просто не понимаем.

вы же вроде глубинками не занималсь

 
elibrarius:
На тестовом участке, как и у большинства  ошибка на грани 50%. Но по крайней мере считает в десятки раз быстрее Alglib-а. Если тут за 40-100 минут расчет модели, то на Alglib-е больше суток ждал ту же самую структуру, не дождался и отключил расчет.
Хотя если теперь придется подбирать модели в цикле, то это опять уйма времени на это уйдет.... Еще и запрограммировать это дело надо.

ну то есть выбор признаков все равно остается основной проблемой :) но хоть быстрее учится, и то хорошо

 
Maxim Dmitrievsky:

ну то есть выбор признаков все равно остается основной проблемой :)

и признаков и структуры модели оказывается тоже

 
Vladimir Perervenko:

1. Вы об оптимизации чего говорите? О каком плато? О какой модели? Если Вы говорите о нейросети, то было бы странно не обучать(оптимизировать парметры) DNN перед использованием.

2. Каких параметры модели(?) должны быть стабильны? 

Не понял Ваши мысли.

Я говорил об оптимизации гиперпараметров DNN которую нужно проводить обязательно и не в тестере.

 Вы об оптимизации чего говорите

Результативности модели,  как  критерия оптимизации всего остального

 О каком плато?

Плато результативности

 О какой модели?

Любой модели

Если Вы говорите о нейросети, то было бы странно не обучать(оптимизировать парметры) DNN перед использованием.

А это главный вопрос, который я как-то Вам задавал: как результаты обучения (оптимизации параметров) зависит от нестационарности входных предикторов. Ваш ответ был: никак. Мне это не понятно, так как НС постоянно приходится переобучать, значит они реагируют на нестационарность, значит параметрами модели являются случайные величины, значит существует проблема стационарности параметров. Значит во всей красе все то, что обсуждается в GARCH, но почему-то не обсуждается в классификации

Типы оптимизации - Алгоритмический трейдинг, торговые роботы - MetaTrader 5
Типы оптимизации - Алгоритмический трейдинг, торговые роботы - MetaTrader 5
  • www.metatrader5.com
В данном режиме происходит полный перебор всех возможных комбинаций значений входных переменных, выбранных для оптимизации на соответствующей вкладке. Быстрая (генетический алгоритм) В основу данного типа оптимизации заложен генетический алгоритм подбора наилучших значений входных параметров. Данный тип оптимизации значительно быстрее полного...
Причина обращения: