Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1183

 
Igor Makanu:
спасибо, но дело уже не  в браузере, а в Винде, брандмаузер щас блочит все что не лень, любой браузер работает около 10 минут, потом бздынь! и больше ничего не открывает,... слетела винда, домой приеду за 15 минут через бэкап в акрониксе восстановлюсь с флешки, благо всегда бэкаплю все новые установки
да понятно все это, сам так делаю когда время есть, но не интересно (((, хочется как в крутых фильмах.... кнопку нажал.... буквы по ноуту побежали.... а потом ассес конфирмед!!!.... главное чтобы потом АЛАРМ-АЛАРМ не началось )))

по закону Мёрфи: если дерьмо может случиться, то оно обязательно случится

 
Igor Makanu:
да понятно все это, сам так делаю когда время есть, но не интересно (((, хочется как в крутых фильмах.... кнопку нажал.... буквы по ноуту побежали.... а потом ассес конфирмед!!!.... главное чтобы потом АЛАРМ-АЛАРМ не началось )))

Эт вряд-ли.

Я, так, еще более упростил задачу для НС. Разрабатывается предварительная стратегия, в ней определяются интервалы возможных входов, на этих интервалах обучается НС и находит оптимальные точки входа. Если входа на интервале нет, то не находит.

Вне интервалов НС ничего не анализирует.

 
Yuriy Asaulenko:

Эт вряд-ли.

Я, так, еще более упростил задачу для НС. Разрабатывается предварительная стратегия, в ней определяются интервалы возможных входов, на этих интервалах обучается НС и находит оптимальные точки входа. Если входа на интервале нет, то не находит.

Вне интервалов НС ничего не анализирует.

НС не найдет оптимальные точки входа, их нужно брутфорсить

 
Maxim Dmitrievsky:

НС не найдет оптимальные точки входа, их нужно брутфорсить

Максим, это уже сделано год назад. И писал как, в этой теме.

А вот чего-то новое никак не придумывается. Пока с Питоном вожусь, м.б. какие мысли появятся.

 
Maxim Dmitrievsky:

НС не найдет оптимальные точки входа, их нужно брутфорсить

ну как бы НС не виновата, то что МО посчитает оптимальным не факт, что мы это ищем во входных данным, поэтому и хочется софта с визуализацией, но наверное НероСолюшнз уже не хочу, наискался халявы в сети, на Матлабе буду читать про НС, там тож много готового 
 
Ivan Negreshniy:

еще попробуйте отключить навязчивое, при каждом запуске, создание CatBoost'ом своих временных каталогов т.к. от этого в защищенной среде он вылетает.

И вообще, эти глюки у него выглядят как-то не очень профессионально, поэтому если не удастся их победить, то лично по моему мнению, дешевле бесплатного - от этого продукта отказаться сразу:)

Каталоги создаются при использовании питона? В консоли логично, что создаются каталоги, так-как в них лежит сразу модель и разметка, а так же иные статистически данные, куда их ещё класть, если не в каталог? На мой взгляд напротив, каталоги очень правильное решение, так-как я могу перебирать множество настроек в цикле и результат от каждой размещать в свой каталог.

Пока глюков, приводящих к сбою работы, не наблюдал.

 
Maxim Dmitrievsky:

Кстати, не знаю у кого спросить, может быть скажешь

при использовании PCA алглиб возвращает собственные вектора

как с ними дальше работать, то есть применить к исходным признакам

http://alglib.sources.ru/dataanalysis/principalcomponentsanalysis.php
вряд ли больше скажу. чем в Вики https://ru.wikipedia.org/wiki/Метод_главных_компонент#Сингулярное_разложение_тензоров_и_тензорный_метод_главных_компонент

Границы применимости и ограничения эффективности метода


на сколько я понимаю этот метод, то выделив главные компоненты, мы имеем карту признаков полезного сигнала, и можно в дальнейшем искать аналогичную карту (матрицу) для поиска полезного сигнала в зашумленныз данных

 
Maxim Dmitrievsky:

в итоге все упирается в контроле качества модели на тестовой выборке, это всё. На тренировочной и так почти всегда хорошо. Для этого даже не нужно ничего визуализировать. Как проводить контроль и делать подвыборки - искусство

Вот тут как раз и возникают мысли, что контрольная выборка может сильно отличатся от той на которой обучали, к примеру есть дерево у которого 10 обученных листьев 9 из которых дают 1, а один сливает все в ноль, которые хорошо работают на конкретной выборке, но потом на тестовой (экзаменационной в моем случае) перестают работать - что случилось? А может же быть, что условия были только для 3х из 9 листьев, а остальное все слилось в ноль. Это не будет признак переобучения (под которым подразумевается избыточные связи, не являющиеся закономерностями), а будет просто либо совсем отличная выборка или выборка, где действительно много событий под 3 листа, и критически мало под оставшиеся 6 листьев, как вариант обучались на трендах, а тестировали на флэте. Вот я думаю, надо ли тогда мешать выборку и создавать искусственные условия, где и на обучении и на тестах будет пропорционально похожие участки рынка, а если надо то нужно как-то идентифицировать эти участки и промаркировать, тогда можно будет смотреть какие отзывы при обучении на эти участки, а какие на проверочной выборке. Либо надо искать такие закономерности, которые свойственны всем рынкам и описывать их универсальным способом с целью увеличения разных ситуаций на выборке обучения.

 
Aleksey Vyazmikin:

искусство.. )

но вообще данная конкретная задача решается кроссвалидацией. Другое дело что в большинстве случаев при cv будет оказываться, что законов, описывающих генеральную совокупность, в обучающей выборке просто нет

 
Maxim Dmitrievsky:

искусство.. )

но вообще данная конкретная задача решается кроссвалидацией. Другое дело что в большинстве случаев при cv будет оказываться, что законов, описывающих генеральную совокупность, в обучающей выборке просто нет

не все так просто, я уже  с неделю пытаюсь начать визуализировать МО, а просто в тестере подогнать под историю можно и без МО, вот глянь как нужно рабочее место подготавливать для МО.... щас снесу Винду на ноуте... может и впрямь в Пионы податься...


Причина обращения: