Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 169

 
mytarmailS:

если брать свечи, то ничем...

но есть еще стакан, T&S, ОИ...итп..

а ето доп. предикторы для МО

Понятно, спасибо.

mytarmailS:
 

и тут еще если вы в течении минуты делаете несколько сделок то с комисией и специальными задержками в исполнении вам не выжить  на форе..  а если и чудом получиться шанс 1 из 1 000 000 то не далеко не факт что вам выплатят деньги

Ну это опять же - торговые условия.

 
Mihail Marchukajtes:
Вы на Решетова бочку не катите, так то он нормальный продукт написал, ну а если не уметь им пользоватся, то Р-ка тоже не поможет. Одно дело быть консруктором НС, другое дело пользователем. Это совсем разные весчи...

Да никто не катит, это называется довести до абсурда, и предназначалось это модератору, чтобы он понял абсурдность своих высказываний, Решетов тут не причем вообще...

Вот решил ты  посчитать среднее в екселе  и пишешь что то себе на форуме mql, все ты паразит, потому что ето можно было сделать и в mt5, не принес пользы mql сообществу понимаешь?

 Вот вы Михаил тоже паразит , потому что пользуетесь JProjection, вот такие дела... :)

 
Пользуюсь, но в итоге всё равно пишу на MQL вернее сеть вставляю в индикатор, так что..... я вроде бы и паразит, но полезный :-)
 
mytarmailS:

Да Р-ка тут ни при чем, какая разница на чем писать? вопрос удобства, не более....  Вот Решетов свой JProjected на java написал, баньте его нафиг, это же не mql, он же не полезный получаеться, этот как его  - паразит!!!!

 одно слово МАРАЗМ

Решетов делает свои программы с оглядкой на то, что результаты будут использованы в МТ. Он написал множество советников, выдвигал тысячи идей и всё это работает на МТ, так что он много сделал как популяризатор, очень много.

Можете писать хоть на богомерском swift, но нужно что бы сообщество могло это использовать в МТ, иначе от вас никакой пользы для сообщества. Сообщество, которое лелеяли и холили, которое расширяли вкладывая огромные средства.

 
sibirqk:

Если есть работающая идея перекодить ее в МКЛ не сложно. А то что он пишет здесь а не на R-форумах объяснимо - R бездонный, узкоспециализированное сообщество найти непросто. И для МТ-сообщества от  него безусловная  польза. 

В R может и есть торгующее сообщество, но оно 0 по сравнению с MQL сообществом, там новую идею не добудешь, поэтому он трётся здесь а не там.
 
Alexey Burnakov:

кроссвалидации на дополнительных выборках в другом временном диапазоне. 
Dr.Trader:
Допустим есть данные для обучения за год. Я обучу 12 моделей - одну на данных за январь, вторую модель на данных за февраль
Alexey Burnakov:
Это подгонка. ...
Без наукоемких фраз типа - для случая когда предикторы не полностью......или.....)))
Возмем для примера простые, понятные данные и смоделируем... Треним. Синии точки-трен. Красные-валидация.

п1;п2;цель
1;0;1
1;1;2
1;0;1
1;1;2
1;0;1
1;0;1
1;1;2
1;0;1
1;0;1
1;0;1

Верхний левый- 50% трен, 50% валид. Верхний правый- с перемешиванием.
Для OOS(нижний) увеличим выборку тупо прибавив предыдущую. Так как в реалии мы не знаем будущего,
введем от балды точку со значением 1.5. Пока тестовая(OOS) соответствует тренировочной, все нормально.
На 1.5 - модель спотыкается... Опуская небольшие преимущества использования валидации и примитивность

примера, в реале мы и имеем примерно такую картину...


 

Вот официальная точка зрения владельца ресурса.

Отсюда

 

 

Renat Fatkhullin 2016.10.11 03:43       RU

Просьба остановиться в обвинениях.

Каждому языку - свое место. R отлично подходит для интерактивного исследования. Я вот второй день его исследую (до этого прочел книгу) и он реально похож на мощный отладчик с визуализацией внутренностей.

Работа с R сразу показала наши слабые места:

  • В MQL5 мало мощных функций для частых операций. Для множества вещей нужно писать микрокод. В ближайшие два билда мы выкатим десятки новых функций для проведения сложных операций в один вызов.
  • Нужно больше математических функций. Мы уже выпустили в бете первую версию аналога функций R и теперь займемся ее развитием, дополняя векторными вариантами.
  • Нужна простая и мощная графическая библиотека с функциональностью как граф пакеты в R. Мы ее создадим с оглядкой на R.
Для чего мы это делаем?

Первую алгоритмическую торговую платформу с языком MQL мы выпустили еще в 2001 году. Каждый раз мы увеличивали ее возможности, но математический аппарат оставлял желать лучшего. Мы развивали теханализ, доступ к данным, тестер, распределенные вычисления, а потом дошли до площадки продажи продуктов.

И тут стало понятно, что большинство решений крутятся в заколдованном круге теханализа, индикаторов и подгонке. Нужно дать разработчикам подняться на следующий уровень математических возможностей.

Именно поэтому мы некоторое время назад начали расширять математические библиотеки в MQL5, а также выпустили в бете Alglib, Fuzzy и Stat. Они позволят упростить перенос на MQL5 выработанных моделей из других систем, что позволит поднять класс создаваемых аналитических решений для платформы Метатрейдер 5.

В ближайшие 2 месяца вы увидите прогресс, которого мы достигнем в развитии математического окружения.

 

Мы рады и приветствуем обсуждение сложных математических пакетов, а также статьи по ним. Пишите и присылайте заявки на написание статей Рашиду Умарову(Rosh). Наша задача простимулировать и обучить трейдеров более сложным методикам, а не огородиться в собственном мирке MQL5.

Конечно, мы защищаем и будем защищать свой язык и платформу от нападок, но при этом работаем над их развитием. Так что все будет хорошо. 

 

ПС.

Выделено мною 

 
Vizard_:

в реале мы и имеем примерно такую картину...

Я не до конца понял ваш вывод.
Модель будет работать только до тех пор, пока она работает на известных ей данных? Т.е. при прогнозе на новых данных она начнёт спотыкаться в любом случае, вне зависимости от типа разбивки (с/без перемешивания)?

Получается как-то вообще безвыходно и тленно, единственный способ сохранить деньги это не торговать.

 

Я это делаю не только для подбора параметров модели, но и для подбора индикаторов и их параметров. Выгружаю из mt5 10000 индикаторов с разными параметрами и лагами, далее генетикой перебираю как используемые индикаторы из того списка, так и параметры самой модели (деревья в лесу, слои в нейронке, итд). Можно сказать это что мой способ поиска постоянных зависимостей.
Если взять набор стандартных индикаторов со стандартными параметрами в MT5, то у меня ни одна модель не пройдёт кроссвалидацию с ними, хоть нейронка, хоть деревья. Найти набор индикаторов на которых модели начнут давать положительные результаты при такой кроссвалидации, это уже достижение с потраченной кучей работы и времени. Положительный результат - некий критерий того что между всеми предикторами существуют постоянные зависимости в пространстве и времени. Какой бы интервал не взять для обучения - модель будет находить одни и теже зависимости и опираться на них.

Картинка ниже - пример такой кроссвалидации. Каждая чёрная линия это результат (рост баланса) торговли каждой отдельной модели в ансамбле. Красная линия - результат торговли по решению большинства моделей в ансамбле. Там примерно 1/3 моделей вообще не могут в плюс выйти, при том что генетика больше дня потратила на перебор всех вариантов, т.е. это один из лучших результатов что можно найти, при том что результат даже не очень хорош. Если набрать любые стандартныые индикаторы нахаляву, то весь этот чёрный веер уйдёт вниз, а красная линия - вниз за пределы экрана.

 
Dr.Trader: Получается как-то вообще безвыходно и тленно, единственный способ сохранить деньги это не торговать.

Картинка ниже - пример такой кроссвалидации. Каждая чёрная линия это результат (рост баланса) торговли каждой отдельной модели в ансамбле. Красная линия - результат торговли по решению большинства моделей


Нет, лишь наглядное представление, что на самом деле происходит.
Искать решения... в этих реалиях.
------------------------------------------------------------------------
В левой части скрина просадка не хилая, модель этот участок не описывает...
 
Отвечаю вам обоим.

Модель ничего не стоит если ее оценку проводить на данных, на которых выбиралась модель. ДАЖЕ если это период данных, на которых модель не обучалась.

Вдумайтесь.

Есть 1) переобучение. Это когда догоняем модель на обучающих данных до состояния почти идеала. На других данных нет обобщающей способностиьи слив.

А есть 2) selection bias (оптимистичный выбор модели). Это когда выбирается лучшая модель или комитет на данных, на которых УЖЕ известно поведение модели. И еще раз - ДАЖЕ если это тестовый отрезок.

Получается такая реалия. Непереобученная модель, выбранная по тестовым блокам кроссвалидации (такая, что на тесте идет в плюс), потенциально подогнана под ТЕСТ. Для уменьшения этого эффекта придумали вложенную крлссвалидацию. Уже выбранную модель (или комитет) нужно еще на других данных проверить.

 То есть - это валидация метода выбора модели.

Еще раз повторю, у меня тоже есть десятки моделей, я также ворошу предикторы и параметры. И эти модели идут в солидный плюс на периоде 8 лет каждая! И это тестовый период. Но когда выбранные по тесту "лучшие" модели проверяются отложенной выборкой, там сюрпризы. И это называется - Модель подгоняется под кроссвалидацию. 

Когда это понятно, продолжается чистый эксперимент. Если это не понятно, увидите на реале многократное падение качества. Что и наблюдается в 99% случаев.
Причина обращения: