Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1339

 
Alexander_K:

+++

Не в обиду Алексею - разрази меня гром, если я понимаю хоть слово из того что он пишет. Не ясны и не обоснованы ни цели, ни методы их достижения. Дух Учителя, потратившего 15 лет на нейросети, а щас работающего на автомойке, так и витает над ним.

Срочно найдите заземление, а то гром разразит :) Проблема в том, что Вы ищите подтверждения моих идей (про какую из идей речь - гербарий?) в научных трудах, и видимо не находите их там, что приводит к выводу отсутствия их обоснованности не самим автором идеи, а авторитетным научным мнением.

Ещё года не прошло, как я начал заниматься МО, и, как видите, каким то образом у меня получаются рабочие модели, что не так и плохо. На работу советника под форекс я потратил три года. Я использую возврат к среднему, как исход затухания тренда - есть сеты советников, работающие не первый год - посмотрите сигнал. А где Ваш сигнал глянуть, дабы оценить достижения?

 
Aleksey Vyazmikin:

Срочно найдите заземление, а то гром разразит :) Проблема в том, что Вы ищите подтверждения моих идей (про какую из идей речь - гербарий?) в научных трудах, и видимо не находите их там, что приводит к выводу отсутствия их обоснованности не самим автором идеи, а авторитетным научным мнением.

Ещё года не прошло, как я начал заниматься МО, и, как видите, каким то образом у меня получаются рабочие модели, что не так и плохо. На работу советника под форекс я потратил три года. Я использую возврат к среднему, как исход затухания тренда - есть сеты советников, работающие не первый год - посмотрите сигнал. А где Ваш сигнал глянуть, дабы оценить достижения?

Сигнал у меня - на конкурсе. Чё-то около 30-40% в месяц. Причем, по метОде, которую мы когда-то обсуждали в ЛС, только доработанной. Какого лешего тебя понесло в НС? Сие - тайна...

 
Maxim Dmitrievsky:

зачем математику помогать нематематику, объясняя ему формулы, когда у него заведомо более сильная рука и понимание происходящего в разы лучше

он может просто снисходительно отнестись к фантазеру

вы просто не понимаете о чем пишете. Взяли готовое сильное решение в виде катбуста и начали разбавлять его своими слабыми фантазиями, вот что вы делаете. Конечно, по закону больших чисел в конце концов можете случайно наткнуться на неплохое решение проблемы, но только случайно

Неужели Вы обладаете такой силой абстракции, что способны смоделировать мои знания и мысли по предмету? Я сомневаюсь.

Много математиков(и других лиц, обладающих знаниями), которые скованы знаниями, и бояться им противоречить - это психотип такой человека. Иначе каждый человек окончивший институт продолжал бы трудиться уже над научными трудами, а не существовал за счет вознаграждения у работодателя.

Мои фантазии я реализую, проверяю и улучшаю - я создаю систему по производству и отбору моделей, я вижу динамику, а значит пока рано говорить об ошибочном векторе движения.

Если никому не интересны мои изыскания, то могу их более не публиковать.

 
Alexander_K:

Сигнал у меня - на конкурсе. Чё-то около 30-40% в месяц. Причем, по метОде, которую мы когда-то обсуждали в ЛС, только доработанной. Какого лешего тебя понесло в НС? Сие - тайна...

Почему я занялся МО, да потому что до этого убил год на создание трендового советника, который отлично работал на истории, а в 2018 начал сливать на свежих данных, я его улучшал-улучшал, а он опять сливает зараза - надоело. Я решил с помощью МО найти оптимальные настройки фильтров, которые уже были в советнике, и начал делать предикторы... в общем МО мне открыло глаза на подгонку под историю любой стратегии, а так-как руками это делать долго и сложно, то я решил свой торговый опыт передавать предикторам и оказалось, что по нему можно торговать не придумывая хитроумные зависимости между идеями (предикторами). В общем МО это инструмент для связывания наблюдений в решение, вот эти решения я проверяю и отбираю, они то и составляют так называемый гербарий. Т.е. в отличии от Максима у меня есть базовая стратегия, которая улучшается за счет МО.

 
Maxim Dmitrievsky:

я предвижу все ваши ходы наперед, потому что прошел эту стадию в ускоренном темпе (да-да, правильная дорожка всего лишь одна)

и знаю чего не хватает что бы что-то заработало, рекомендую литературу в которой есть недостающие элементы

на роль Учителя или наставника не претендую, просто высказываю мнение. Если начну что-то объяснять то Вы не поймете, поэтому книги.

Так вот следующий Ваш ход - правильная балансировка выборок и избавление от кучи мусора (предикторов).

Мои ближайшие ходы записаны три часа назад на бумаге - это анализ листьев кэтбуста и анализ отзывчивости моделей на выборке с целью их дальнейшей комбинации. С выборками ответа нет, по той причине, что у нас нет стационарности, а значит нет полноты наблюдений - у меня есть идея равномерного распределения разных торговых ситуация по выборкам, но пока руки не доходят до реализации. Ну а убирать предикторы, пока не представляется возможным - объединение групп в один - да интересно реализовать, но не ясно как. Поэтому я за комбинации предикторов, как принудительно, так и рандомно.

 
Maxim Dmitrievsky:

это выстрелит и описано в литературе, как один из основных приемов МО, остальное мусорные идеи

Ну вот и хорошо, осталось понять, как лучше классифицировать эти участки - есть ряд идей, но потребуется проверка разных вариантов, и не зная пока как в MQL реализовать само распределение.

Остальные идеи мне нужны для понимания процесса, мониторинга, отбора моделей их комбинаций, т.е. они не направлены отдельно на улучшение моделей, а скорей на их оценку.

 
Aleksey Vyazmikin:

Ну вот и хорошо, осталось понять, как лучше классифицировать эти участки - есть ряд идей, но потребуется проверка разных вариантов, и не зная пока как в MQL реализовать само распределение.

Остальные идеи мне нужны для понимания процесса, мониторинга, отбора моделей их комбинаций, т.е. они не направлены отдельно на улучшение моделей, а скорей на их оценку.

Честно, я тут в надежде, что вот вот и следующий ваш пост будет "есть первые результаты....", все ваши изыскания они хоть как то применялись в практическую плоскость, если нет то быть может все ваши труды на текущий момент это путь в никуда?

 

Для тех, что не дружит с питоном и R - в приложении генератор батников с базовыми настройками, перебираем пока Seed

input int Set_Total=10;//Количество сетов настроек 1к10


 Код закрытый, к сожалению, по причине применения не моего класса для работы с таблицами.

На выходе будет 7 файлов:

_01_Train_All.txt //Запуск обучения

_02_Rezultat_Exam.txt//Применяет модель на тестовой выборке, результаты сохраняет в файл

_02_Rezultat_Test.txt//Применяет модель на валидационной выборке, результаты сохраняет в файл

_02_Rezultat_Train.txt//Применяет модель на учебной выборке, результаты сохраняет в файл

_03_Metrik_Exam.txt//Рассчитывает метрику модели на тестовой выборке

_03_Metrik_Test.txt//Рассчитывает метрику модели на валидационной выборке

_03_Metrik_Train.txt//Рассчитывает метрику модели на учебной выборке

файлы надо переименовать в bat. 6 последних батника можно запускать параллельно для ускорения процесса, но только после окончания работы первого батника - что бы модели были созданы к этому времени.

В директории с батниками должен быть сам CatBoost и 3 выборки.

Название файлов выборок

train.csv //Учебная

exam.csv//Тестовая

test.csv//Валидационная (используется для остановки обучения)

Выборки должны иметь заголовок.

Целевая(Label) и столбцы исключения(Auxiliary) из выборок указываются в отдельном текстовом файле без расширения (без .txt) 

557     Label
556     Auxiliary
558     Auxiliary
559     Auxiliary
560     Auxiliary
561     Auxiliary
562     Auxiliary

Нумерация столбцов идет с нуля.

Файлы будут помещены в директорию Setup, которая будет создана в директорию для проекта (указывается в скрипте).

Модели будут создаваться в поддиректории проекта с названием "Rezultat", там будут поддиректории для каждой модели с указанием названия файла настройки с целевой и номером модели.

Для себя буду развивать скрипт, если кому интересно, готов делится откомпилированным экземпляром (могу и исходник дать, но без класса не откомпилировать его).

Скачать exe файл CatBoost для работы с командной строкой можно по этой ссылке правильно указывайте версию релиза в настройках скрипта.


(обновил файл)
Файлы:
CB_Bat.ex5  241 kb
 
Farkhat Guzairov:

Честно, я тут в надежде, что вот вот и следующий ваш пост будет "есть первые результаты....", все ваши изыскания они хоть как то применялись в практическую плоскость, если нет то быть может все ваши труды на текущий момент это путь в никуда?

Странные рассуждения - я пока не сделал, то, что запланировал, поэтому ставить на торговлю ещё рано. Сейчас обкатываю предикторы на реале с гербарием новогодним, отлавливаю баги и собираю информацию. Потом поставлю модель от CatBoost с малым лотом, нужно проверить корректность и скорость работы на реальных данных. Ну а когда, прибыль будет хотя бы 10к за 2018 год на тестовой выборке, возможно с комбинациями моделей, то поставлю на реал с нормальным лотом. Слить депозит всегда можно успеть. Разработка и отладка дело не быстрое.

 
Maxim Dmitrievsky:

да уж на питоне это делается в 3 строчки, чем фигней страдать ))

модель можно сохранить в json и распарсить ее на mql, т.е. будет готовый бот без лишних файлов

Ну конечно, перебор там в 3 строчки, ага...

Можно сохранить модель, но вопрос в интерпретаторе, а не модели.

И, разбивка на 7 файлов для ускорения процесса, а не последовательного исполнения команд.
Причина обращения: