Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2566

 
Aleksey Nikolayev #:

Воронцов - наверно лучший специалист по МО в России. Курс поэтому обязан быть хорошим, но поскольку он для айтишников, то там опущена базовая и важная для нас математика. Неоднократно замечал, что для применения математических методов в трейдинге мало когда подходит их базовая, упрощённая форма.

МО основано (можно посмотреть например у Тибширани) на предположении, что существует неизменное совместное распределение предикторов и ответов P(X,Y). Из него может быть вычислена условная вероятность Py(Y|X), из которой может быть вычислена регрессия Y=f(X). В итоге, эта регрессия приближается какими-либо моделями МО. В физическом мире эта теория более-менее работает. Но не в трейдинге. У нас оказывается, что P(X,Y) меняется со временем (нестационарность) непредсказуемым образом и вся теория немного рушится.

Приходится как-то придумывать свою теорию и здесь уж - кто во что горазд) Самый распространённый подход - просто не обращать внимания на нестационарность и потом удивляться результатам и жаловаться на МО)

Важно точно понимать: "нестационарность" чего? и не скатываться к нестационарности самого временного ряда. Скорее всего можно не обращать внимания на нестационарность самого котира.

Краеугольной является условная вероятность  Py(Y|X). 

Вместо условной вероятности удобнее использовать "предсказательную способность" предиктора по отношению к конкретному учителю.

Ввел меру такой предсказательной способности и прогнал окно по ВР, набрав статистику в 2000 примеров. Особо отмечу, что про модели вообще нет речи. Ищем пару "предиктор-учитель".


Вот часть результатов: столбик- отдельный предиктор, приведены итоговые строки: среднее значение предсказательной способности, стандартное отклонение и % для удобства.


Видим, что среди предикторов имеется предиктор с отношением sd/mean около 10%. Но замечательно, что у меня НЕ встретились предикторы, которые бы имел этот процент более 100%.

Поэтому задача проектирования состоит в поиске такого набора предикторов для конкретного учителя, у которого была бы ограничено отношение  sd/mean величиной 10%, а лучше 5%, которыми можно пренебречь. Стабильность предсказательной способности - это краеугольный камень торговой системы.

 

гуглим предложение дословно

"

Получается, что оптимальным прогнозом будущего значения уровня ряда является его текущее значение

"

 
СанСаныч Фоменко #:

Важно точно понимать: "нестационарность" чего? и не скатываться к нестационарности самого временного ряда. Скорее всего можно не обращать внимания на нестационарность самого котира.

Краеугольной является условная вероятность  Py(Y|X). 

Вместо условной вероятности удобнее использовать "предсказательную способность" предиктора по отношению к конкретному учителю.

Ввел меру такой предсказательной способности и прогнал окно по ВР, набрав статистику в 2000 примеров. Особо отмечу, что про модели вообще нет речи. Ищем пару "предиктор-учитель".


Вот часть результатов: столбик- отдельный предиктор, приведены итоговые строки: среднее значение предсказательной способности, стандартное отклонение и % для удобства.


Видим, что среди предикторов имеется предиктор с отношением sd/mean около 10%. Но замечательно, что у меня НЕ встретились предикторы, которые бы имел этот процент более 100%.

Поэтому задача проектирования состоит в поиске такого набора предикторов для конкретного учителя, у которого была бы ограничено отношение  sd/mean величиной 10%, а лучше 5%, которыми можно пренебречь. Стабильность предсказательной способности - это краеугольный камень торговой системы.

Это как раз элемент искусства мастера в МО, поиск таких связей. На базе своих наработок делаю нечто подобное. Часто ищут зависимости через кросс-энтропию, что затратно по ресурсам. А у вас быстрее?
 
СанСаныч Фоменко #:

Важно точно понимать: "нестационарность" чего? и не скатываться к нестационарности самого временного ряда. Скорее всего можно не обращать внимания на нестационарность самого котира.

Краеугольной является условная вероятность  Py(Y|X). 

Вместо условной вероятности удобнее использовать "предсказательную способность" предиктора по отношению к конкретному учителю.

Ввел меру такой предсказательной способности и прогнал окно по ВР, набрав статистику в 2000 примеров. Особо отмечу, что про модели вообще нет речи. Ищем пару "предиктор-учитель".


Вот часть результатов: столбик- отдельный предиктор, приведены итоговые строки: среднее значение предсказательной способности, стандартное отклонение и % для удобства.


Видим, что среди предикторов имеется предиктор с отношением sd/mean около 10%. Но замечательно, что у меня НЕ встретились предикторы, которые бы имел этот процент более 100%.

Поэтому задача проектирования состоит в поиске такого набора предикторов для конкретного учителя, у которого была бы ограничено отношение  sd/mean величиной 10%, а лучше 5%, которыми можно пренебречь. Стабильность предсказательной способности - это краеугольный камень торговой системы.

Без стационарности ряда статистические вычисления подобные вашим могут быть лишены смысла - может отсутствовать сходимость выборочных величин к истинным. Например, несложно придумать пример, где выборочная корреляция соседних приращений будет ненулевой, но при этом истинная - нулевая.

PS.

Стационарность понимается "в узком смысле" - независимость от времени совместных распределений.

Стационарность может быть неполной - например, касаться только совместных распределений приращений (процессы со стационарными приращениями).

Правильно конечно говорить про стационарность слупа, а не ряда который является лишь одной из реализаций данного процесса. Но мы не на экзамене, потому сиё неважно)

Часто под стационарностью имеют в виду её вариант "в широком смысле". При этом помнят только про постоянство среднего и дисперсии, забывая про условие на АКФ. В любом случае, в МО такой стационарности недостаточно (её будет достаточно для линейных моделей).

 
На рынке нет истинных величин. Есть только реализации.
 
Maxim Dmitrievsky #:
Это как раз элемент искусства мастера в МО, поиск таких связей. На базе своих наработок делаю нечто подобное. Часто ищут зависимости через кросс-энтропию, что затратно по ресурсам. А у вас быстрее?

Примерно по секунде на каждый предиктор (XEON-1620).

 
Aleksey Nikolayev #:

Без стационарности ряда статистические вычисления подобные вашим могут быть лишены смысла - может отсутствовать сходимость выборочных величин к истинным. Например, несложно придумать пример, где выборочная корреляция соседних приращений будет ненулевой, но при этом истинная - нулевая.

PS.

Стационарность понимается "в узком смысле" - независимость от времени совместных распределений.

Стационарность может быть неполной - например, касаться только совместных распределений приращений (процессы со стационарными приращениями).

Правильно конечно говорить про стационарность слупа, а не ряда который является лишь одной из реализаций данного процесса. Но мы не на экзамене, потому сиё неважно)

Часто под стационарностью имеют в виду её вариант "в широком смысле". При этом помнят только про постоянство среднего и дисперсии, забывая про условие на АКФ. В любом случае, в МО такой стационарности недостаточно (её будет достаточно для линейных моделей).

Меня не интересует сам котир. Я интересуюсь способностью предиктора предсказывать учителя. По мне самая главная ошибка подавляющего большинства трейдеров в их попытках решить проблемы самого котира. А нам необходимо предсказание учителя. Это совершенно другая проблема.

 
СанСаныч Фоменко #:

Меня не интересует сам котир. Я интересуюсь способностью предиктора предсказывать учителя. По мне самая главная ошибка подавляющего большинства трейдеров в их попытках решить проблемы самого котира. А нам необходимо предсказание учителя. Это совершенно другая проблема.

что это "предсказание учителя" ??

 
СанСаныч Фоменко #:

Меня не интересует сам котир. Я интересуюсь способностью предиктора предсказывать учителя. По мне самая главная ошибка подавляющего большинства трейдеров в их попытках решить проблемы самого котира. А нам необходимо предсказание учителя. Это совершенно другая проблема.

Если предикторы и ответы чётко формализованы, то необходимости в модели цены, наверное, уже нет. Если же идёт их поиск и конструирование, то какая-нибудь модель цены не помешает.

 
Aleksey Nikolayev #:

Если предикторы и ответы чётко формализованы, то необходимости в модели цены, наверное, уже нет. Если же идёт их поиск и конструирование, то какая-нибудь модель цены не помешает.

Будущая модель рынка всегда формируется из прошлого. Прошлое формирует будущую модель в зависимости от прошлого и текущего состояния мировой экономики и политики.

Текущее состояние экономики первейший фактор направления валютной составляющей. Влияние слов Первых важных лиц не вызывает сомнений на воздействие на курсы валют. 

В тестере это красиво выглядит, когда лежат готовые данные.

П.с. К чему весь пост?

Один из важнейших показателей воздействия на рынок валют являются новости о которых еще не слышим. Исторические данные + текущие новости сформируют новую модель, но она будет отличаться от предполагаемой в МО.

Т.е. Тупичек будет всегда в другом месте.

Причина обращения: