Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 850

 
Ilnur Khasanov:
А сколько их? Есть же способы сделать это быстрее.. Генетика.. Также в нс их загнать..

эвристический поиск

 
Alexander_K2:

А какой надо? Я ведь все равно его для начала экспонентой обрабатываю с р=0.5, чтобы получить простейший поток.

Если мы идентифицировали тиковый поток у нас например Эрланга k=4, ну если откинуть Коши, то зачем нам опять ехать по нему экспонентой? Когда можно сразу перейти к Эрланга k=5  и т.д.? Выравнивать дальше промежутки между тиками, а не сначала запутать и выравнивать?

 
elibrarius:

Наверное надежнее всего в цикле перебирать комбинации предикторов. Но это очень долго(

Не наш путь.Этим бесконечно заниматься можно. До полного одержания.
 
Ишь как заговорили!!!! Стоило ветку поднять..... Не я уже всё для себя решил. Не так гладко получается, как хотелось бы. Ну так рынок сейчас такой..... Завышенная неопределённость в связи с событиями мировыми.... Нет стабильности, поэтому приходится чуть ли не через день через два переделывать, а так жду стабилизации ситуации в нагруженном режиме и продолжаю работать....
 
Yury Reshetov:

Под усложнением моделей в jPrediction подразумевается постепенное увеличение количества предикторов. Ведь в jPrediction количество нейронов в скрытом слое равно 2^(2*n+1), где n - количество предикторов. Соответственно, с ростом количества предикторов сложность модели (количество нейронов в скрытом слое) увеличивается. Таким образом, постепенно наращивая сложность моделей, jPrediction рано или поздно дойдёт до значения M, после которого дальнейшеее усложнение моделей приведёт к дальнейшему снижению обобщающей способоности (увеличению ошибок в обобщающей способности).

Наткнулся на сообщение Решетова о числе нейронов.
Если 10 предикторов, то получится 2^21 =  2097152 нейронов.
Не многовато ли?
Даже для 3х предикторов будет 128 нейронов...

 
elibrarius:

Наткнулся на сообщение Решетова о числе нейронов.
Если 10 предикторов, то получится 2^21 =  2097152 нейронов.
Не многовато ли?
Даже для 3х предикторов будет 128 нейронов...

Повеселили))
 
Vizard_:

N = 2^i − 1

1023 нейрона для 10 входов уже получше.
Но, судя по статьям на практике используется гораздо меньше, например  n=sqrt(#входов * # выходов)
Видимо N = 2^i − 1 - для точного запоминания, а формулы с меньшим количеством - для обобщения.

 
СанСаныч Фоменко:

Самый шикарный отбор предикторов в caret: gafs - выбор предикторов генетическим способом; rfe- обратный выбор предикторов (самый быстрый); safs - имитируемая устойчивость выбора предикторов (отжиг) - самый эффективный.

Попробовал rfe на матрице 12*6400 - около 10 часов считала с параметрами по умолчанию (sizes = 2^(2:4)), не дождался и выключил. Подумал глюк, перезапустил еще раз с sizes = ncol(x) - уже час считает.
Если rfe самый быстрый, то сколько же ждать остальные?
Предыдущие опробованные пакеты не дольше 5 минут на тех же данных работали.
У вас так же долго считал?

Обновление: второй запуск с sizes = ncol(x) закончил расчет за 2.5 - 3 часа, результаты близки к пакетам, которые за 3-5 минут обрабатывают те же данные.
Установка , rfeControl = rfeControl(number = 1,repeats = 1) - сократило время до 10-15 минут, изменения - 2 пары предикторов поменялись местами, но в целом похоже.
 
elibrarius:

Попробовал rfe на матрице 12*6400 - около 10 часов считала с параметрами по умолчанию (sizes = 2^(2:4)), не дождался и выключил. Подумал глюк, перезапустил еще раз с sizes = ncol(x) - уже час считает.
Если rfe самый быстрый, то сколько же ждать остальные?
Предыдущие опробованные пакеты не дольше 5 минут на тех же данных работали.
У вас так же долго считал?

Обновление: второй запуск с sizes = ncol(x) закончил расчет за 2.5 - 3 часа, результаты близки к пакетам, которые за 3-5 минут обрабатывают те же данные.

Точно не помню, давно было, но такие страсти как у Вас не отложились в памяти

Матрица обычная для меня.

НО

  • Целевая - сколько классов? У меня всегда два класса
  • Я всегда гружу все ядра своего  XEONа 1620, а он работает процентов на 20 шустрее своего аналога по частоте.
  • какая оценка?
Вообще надо быть крайне осторожным, загрузить до суток комп можно очень легко. Надо понимать, что делает алгоритм.
 
СанСаныч Фоменко:

Точно не помню, давно было, но такие страсти как у Вас не отложились в памяти

Матрица обычная для меня.

НО

  • Целевая - сколько классов? У меня всегда два класса
  • Я всегда гружу все ядра своего  XEONа 1620, а он работает процентов на 20 шустрее своего аналога по частоте.
  • какая оценка?
Вообще надо быть крайне осторожным, загрузить до суток комп можно очень легко. Надо понимать, что делает алгоритм.

2 класса
Загружалось 1 ядро

Установка , rfeControl = rfeControl(number = 1,repeats = 1) - сократило время до 10-15 минут. Изменения в результатах - 2 пары предикторов поменялись местами, но в целом похоже, на то, что по умолчанию было.

Причина обращения: