Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 258

 

СанСаныч Фоменко:

Я давно ношусь с идеей, что на финансовых рынках это интуитивное описание дает ZZ................ 

зиг-заг фуфло....

 я провел эксперимент небольшой...

Как обычно тренируют МО , делаем выборку, делаем целевую, потом целевую смещаем на один шаг назад что бы МО учился прогнозировать будущее значение целевой по текущих значениях выборки , я взял и сместил целевую на 10 шагов вперед относительно выборки, те получилось так что МО за ранние знал что будет видя будущую целевую. И что вы думаете? На новых данных максимум что показал МО это 75% правильных ответов, хотя  по идеи должно быть около 100%

 выводы...

1)  зиг-заг фуфло....

2) плохая целевая может сжирать даже 25% ошибки  у МО

3) найден какой никакой способ проверки целевой на вшивость

4) нужно делать такие целевые которые сами себя создают во время обучения МО , те делать их как поиск некого глобального минимума или максимума, а не придумывать всякие субъективные целевые типа зз ипроч. это утопия имхо, но хваленый R на столько попсовый  что не предполагает таких целевых и меня это печалит((

 

Мои мысли по поводу  - как можно бороться с  не стационарностью рынков.

1)      Есть у нас некая торговая система - тс.   ТС это объект  который принимает в себя некие настройки которые зависят от рынка и генерирует торговые сигналы.

Для простоты возьмем самую примитивную модель ТС ,  пусть это будет индикатор РСИ

1.       У индикатора есть период – те некая настройка  оптимальные параметры которой зависят от рынка

2.       Так же создадим торговое правило, если РСИ пересек ноль сверху вниз то это сигнал на продажу наоборот сигнал на покупку

Вот такая вот ТС получилась, очень примитивно но нам для примера больше и не надо, в реальной ТС настроек  от рынка может быть и сотня то же и с торговыми правилами

2)      Не нужно быть гением чтобы понять что такая ТС обречена на слив, потому что характеристики рынка постоянно меняются, а период у индикатора фиксированный и он попросту неадекватно реагирует на различные колебания рынка

Отсюда две мысли :

  1. Нужно сделать период индикатора динамическим и менять его постоянно в соответствии с текущими объективными характеристиками рынка которые присутствуют здесь и сейчас
  2. Нужно как то извлекать эти характеристики с рынка 

3)      Извлекать характеристики рынка можно с помощью спектрального анализа с помощью всего трех параметров

1.       Частота колебания  (можно сказать период который сейчас доминирует на рынке объективно)

2.       Амплитуда колебания ( это тоже важно знать, цена колеблется в диапазоне 30 пунктов или 300 )

3.       Фаза (те  как бы обозначает от куда это все надо считать)

Вот и все, этими параметрами можно описать абсолютно любой временной ряд и рынок в частности

4)      Теперь все что нужно это под каждую спектральную характеристику рынка найти оптимальный период для индикатора – те найти оптимальные настройки для ТС. Находить такие оптимальные параметры наверное нужно МО.

5)      И так итоговая схема работы на реал тайм данных мне видеться так:

1.       Снимаем спектральные характеристики с рынка реал тайм

2.       Падем на обученный МО, МО выдает оптимальные характеристики для ТС на текущий момент

3.       Передаем оптимальные характеристики в ТС

4.       Сливаем бабло :)

 

Думаем, комментируем как такое можно реализовать, кто что знает кто что умеет?
 
mytarmailS:

4)      Теперь все что нужно это под каждую спектральную характеристику рынка найти оптимальный период для индикатора – те найти оптимальные настройки для ТС. Находить такие оптимальные параметры наверное нужно МО.

Но ведь можно искать лучший период для индикатора самим тестером стратегий - сделать советник на этом индикаторе, параметр для периода вынести в настройки советника, и потом его генетикой оптимизировать.
Такой советник кстати не приносит прибыли, пробовал тысячи раз на разных индикаторах.

Насчёт определения периода спектральным способом (подразумевается преобразование фурье?) - не пробовал, но не верю что оно оживит rsi и принесёт прибыль.

 

Дописал позже -

Вообще, возможность торговать используя RSI основывается на надежде что этот RSI отражает некие внутренние процессы рынка, что действительно существует перекупленность и перепроданность, и что индикатор их правильно определяет. 
Я не сомневаюсь что такие явления на рынке существовали в 80-х годах на дневных графиках, иначе бы индикатор не был популярен. Но сейчас от тех закономерностей ничего не осталось.
С таким-же успехом можно придумать кучу формул типа (H+L)/O, напихать туда машек, и пытаться на этом что-то предсказать. У rsi сейчас не больше силы чем у таких рандомных формул.

Определять спектральные характеристики рынка это пожалуй хорошо, звучит сильно. Уже сами эти характеристики можно использовать как предикторы для леса или нейронки, и использовать их предсказание для торговли, без rsi и других индикаторов.
Но нужно убедиться что спектральный анализ даёт стационарные предикторы (принято считать что для форекса ответом будет "нет", хотя доказательств и примеров я не видел, может просто воду мутят).

Мне кажется, что поскольку разложение Фурье берёт исходные данные, и трансформирует их по конкретным формулам и операциям, получая новый набор данных - то новые данные не имеют в себе каких-то новых найденных закономерностей конкретно для форекса, и результативность модели обученной на них будет не лучше чем при обучении на цене.
А очень бы хотелось при предобработке данных и обучении модели получить какие-то новые логические правила о формировании цены.
Как в пример - кластерные сети и распознавание картинок. Можно анализируя данные отдельных нейронов определять тип поверхность на картинке, всякие там границы объектов, итд. Сеть сначала находит на изображении простые линии, углы, итд, затем по комбинации таких примитивов видит контуры объектов, потом по комбинации объектов, цветов, итд - определяет тип объекта (на самом деле там ещё больше промежуточных ступеней, я просто в целом описал). 
Вот для форекса должно быть что-то подобное - сначала модель распознаёт рост и падение цен, из них формирует тренды, по трендам формирует паттерны, а по паттернам - уже принимает решение. Такое можно добиться от кластерных или глубоких сетей, но там столько тонкостей при обучении, что даже страшно браться, и непонятно откуда начинать.

 
 
Top2n:

Выше я пытался высказать некие мысли, используя для иллюстрации ЗЗ. К сожалению, все мои мысли были отброшены на том основании, что ЗЗ барахло.

Но дело не в ЗЗ.

Дело в том, что обязательно изначально, на описательном уровне определиться с тем, что мы моделируем на рынке.

Каждый раз обсуждается нечто, предположительно удивительно, но не указывается ЧТО мы собираемся моделировать, какой нюанс рынка

Возвращаясь к ЗЗ, который используем исключительно для того, чтобы как-то структурировать проблему. Причем очень наглядно.

Строим график и что мы видим?

1. Есть тренды

2. Есть отклонения от трендов - шум

3. Явно видна периодичность, но какая-то странная: расстояния между вершинами по ОБЕИМ осям все время переменные. Фурье даже в страшном сне не видел такой периодичности.

 

Вот посмотрев на все это надо определиться с тем ЧТО мы собираемся моделировать и как это будет связано с прибылью торговли.

И только после этого начинаем определяться с инструментами, предварительно вникая для чего, на каких условиях разрабатывались эти самые инструменты, те.е обосновываем применимость инструментов.  

 

ПС.

И не надо больше меня просвещать по поводу индикатора ЗЗ. Хорошо? 

 
Dr.Trader:

Но ведь можно искать лучший период для индикатора самим тестером стратегий - сделать советник на этом индикаторе, параметр для периода вынести в настройки советника, и потом его генетикой оптимизировать.
Такой советник кстати не приносит прибыли, пробовал тысячи раз на разных индикаторах.

 Так это это же обычная оптимизация, это же вообще данной темы не касается,  понятно что там будет слив и понятно почему

Dr.Trader:

Насчёт определения периода спектральным способом (подразумевается преобразование фурье?) - не пробовал, но не верю что оно оживит rsi и принесёт прибыль.

В чем вообще ваши сомнения я не пойму? 

 Спектральный анализ от части и создан для того чтобы снимать характеристики с сигналов, амплитуда, частота и фаза все! больше ничего нет понимаете?? с помощью этих характеристик можно описать любой сигнал или воссоздать любой сигнал, это объективная реальность, это не какой то дурацкий период у РСИ поймите же..

Dr.Trader:

Вообще, возможность торговать используя RSI основывается на надежде что этот RSI отражает некие внутренние процессы рынка, что действительно существует перекупленность и перепроданность, и что индикатор их правильно определяет. 

 ОМГ )) Да забудьте вы про этот РСИ дурной) я же писал два раза что РСИ это просто аллегория  торговой системе для упрощения восприятия, ТС тоже имеет некие настройки которые зависят от рынка и имеет на выходе торговый сигнал верно? я просто упростил понимаете?  Индикаторами(стандартными) я сам не пользуюсь никогда и не 5 раз об этом писал.

Если вам так проще то замените РСИ на какой то двух ногий  арбитраж, у которого настройки не фиксированы а постоянно изменяются во времени в зависимости от объективных спектральных характеристик которые присутствуют на рынке здесь и сейчас. Так лучше :) ??

Dr.Trader:

С таким-же успехом можно придумать кучу формул типа (H+L)/O, напихать туда машек, и пытаться на этом что-то предсказать. У rsi сейчас не больше силы чем у таких рандомных формул.

 100% , но никто же и не спорит )

Dr.Trader:

 Уже сами эти характеристики можно использовать как предикторы для леса или нейронки, и использовать их предсказание для торговли, без rsi и других индикаторов.

 Нельзя, это просто характеристики и не более того, МО не поймет что с ними делать...

Нужно создать некую упрощенную модель рынка она же ТС и эту модель постоянно подстраивать под рынок через спектр. характеристики которые сейчас на рынке и таким образом получим стацыонарность и вот тогда уже можно сверху вешать МО понимаете?

Вспомните видео из интернета когда танк несется на большой скорости по больших ямах и горках а ствол башни у него при этом неподвижен! Вот если провести паралели то "горки и ямки" это рынок люди пытаются с фиксированными  параметрами ТС торговать рынок так чтобы "ствол башни") был не подвижен - вы понимаете какой это идиотизм??

 Те между рынком и МО по средине нужно вставить некую прослойку которая будет делать данные стацыонарними (или делать ствол башни при езде неподвижным)

  

Dr.Trader:

Но нужно убедиться что спектральный анализ даёт стационарные предикторы (принято считать что для форекса ответом будет "нет", хотя доказательств и примеров я не видел, может просто воду мутят).

 Да не мутят воду, 99% из них просто тупо апроксимировали  рынок через Фурье, а это вообще не то о чем я говорю , потому у них ничего и не получилось, вот то что они делали как раз и можно сравнить с какой то машкой или рси или прочей ерундой 

 
mytarmailS:

зиг-заг фуфло....

 я провел эксперимент небольшой...

Как обычно тренируют МО , делаем выборку, делаем целевую, потом целевую смещаем на один шаг назад что бы МО учился прогнозировать будущее значение целевой по текущих значениях выборки , я взял и сместил целевую на 10 шагов вперед относительно выборки, те получилось так что МО за ранние знал что будет видя будущую целевую. И что вы думаете? На новых данных максимум что показал МО это 75% правильных ответов, хотя  по идеи должно быть около 100%

 выводы...

1)  зиг-заг фуфло....

2) плохая целевая может сжирать даже 25% ошибки  у МО

3) найден какой никакой способ проверки целевой на вшивость

4) нужно делать такие целевые которые сами себя создают во время обучения МО , те делать их как поиск некого глобального минимума или максимума, а не придумывать всякие субъективные целевые типа зз ипроч. это утопия имхо, но хваленый R на столько попсовый  что не предполагает таких целевых и меня это печалит((

Действительно "ум человеческий ограничен, глупость беспредельна".

Откуда это самолюбование своей тупостью. Вы формулируйте правильно свои мысли: "мне непонятно, я не могу, я не понимаю".

А Ваши категоричные оценки печалят читающих вашим юношеским максимализмом.

Скромнее... 

 
Dr.Trader:

Мне кажется, что поскольку разложение Фурье берёт исходные данные, и трансформирует их по конкретным формулам и операциям, получая новый набор данных - то новые данные не имеют в себе каких-то новых найденных закономерностей конкретно для форекса, и результативность модели обученной на них будет не лучше чем при обучении на цене.

Да не лучше, это та же информация но в другом виде, но я же не это предлагаю


Как в пример - кластерные сети и распознавание картинок. Можно анализируя данные отдельных нейронов определять тип поверхность на картинке, всякие там границы объектов, итд. Сеть сначала находит на изображении простые линии, углы, итд, затем по комбинации таких примитивов видит контуры объектов, потом по комбинации объектов, цветов, итд - определяет тип объекта (на самом деле там ещё больше промежуточных ступеней, я просто в целом описал). 
Вот для форекса должно быть что-то подобное - сначала модель распознаёт рост и падение цен, из них формирует тренды, по трендам формирует паттерны, а по паттернам - уже принимает решение. Такое можно добиться от кластерных или глубоких сетей, но там столько тонкостей при обучении, что даже страшно браться, и непонятно откуда начинать.

Все это не будет работать пока данные не будут стационарны , рыночная история не повторяет себя в будущем

 
СанСаныч Фоменко:

Vladimir Perervenko:

 Я извиняюсь за свое резкое высказывание если я кого то обидел или опечалил,  но точку зрения я не поменял, я сделал эксперимент и получил результат.

Готов забрать свои слова  если вы убедите меня в обратном ... 

 
СанСаныч Фоменко:

Выше я пытался высказать некие мысли, используя для иллюстрации ЗЗ. К сожалению, все мои мысли были отброшены на том основании, что ЗЗ барахло.

Но дело не в ЗЗ.

Дело в том, что обязательно изначально, на описательном уровне определиться с тем, что мы моделируем на рынке.

Каждый раз обсуждается нечто, предположительно удивительно, но не указывается ЧТО мы собираемся моделировать, какой нюанс рынка

Возвращаясь к ЗЗ, который используем исключительно для того, чтобы как-то структурировать проблему. Причем очень наглядно.

Строим график и что мы видим?

1. Есть тренды

2. Есть отклонения от трендов - шум

3. Явно видна периодичность, но какая-то странная: расстояния между вершинами по ОБЕИМ осям все время переменные. Фурье даже в страшном сне не видел такой периодичности.

 

Вот посмотрев на все это надо определиться с тем ЧТО мы собираемся моделировать и как это будет связано с прибылью торговли.

И только после этого начинаем определяться с инструментами, предварительно вникая для чего, на каких условиях разрабатывались эти самые инструменты, те.е обосновываем применимость инструментов.  

 

ПС.

И не надо больше меня просвещать по поводу индикатора ЗЗ. Хорошо? 

И в суму его пустую суют грамоту чужую)))
Причина обращения: