Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 444

 
Yuriy Asaulenko:

Так и есть, фьюч торгуется последние 3 месяца - непосредственно перед экспирацией предыдущего и после нее . Раньше смотреть и что-то пытаться с ним делать бесполезно.

Максим (или его система) заметили очевидное.

:)) да я не про фьюч который еще не начался а про цикличность, связанную вероятно со сроком жизни контрактов, выражающаяся в том что закономерности меняются на новом контракте, например волатильность ликвидность и проч, меняются реакции рынка. Это незаметно на глаз, кстати, через статанализ думаю можно выявить. Но это не главное, на рынке полно всяких других цикличностей. Проблема в том что бы система перестраивалась без потери доходности на автомате. Ну то есть что бы вообще ничего не делать вручную, лень же.. 
 
Maxim Dmitrievsky:
:)) да я не про фьюч который еще не начался а про цикличность, связанную вероятно со сроком жизни контрактов, выражающаяся в том что закономерности меняются на новом контракте, например волатильность ликвидность и проч, меняются реакции рынка. Это незаметно на глаз, кстати, через статанализ думаю можно выявить. Но это не главное, на рынке полно всяких других цикличностей. Проблема в том что бы система перестраивалась без потери доходности на автомате. Ну то есть что бы вообще ничего не делать вручную, лень же.. 

Введите параметр который будет определять качество Вашего советника, при отклонении его значения ниже установленного Вами предела, переобучайте модель. Все это возможно сделать в R не выходя из рабочего состояния. 

В чем проблема?

 

Внимание! В R могут быть ошибки.

Не далее как вчера строил гистограммы. Занимался этим несколько часов, скрипты не писал - все в командной строке. Повторять многочасовые эксперименты только для того, чтобы выложить коды, нет никакого желания.

Итак, строим гистограмму. По гистограмме вероятность нахождения значений ряда в некотором диапазоне - 0.22. Это прекрасно, однако по самой гистограмме что-то непохоже. Суммируем все - получаем 0.59, а не 1, как должно быть.

Далее строим те-же гистограммы для выборки равномерно-распределенных случ процессов. Здесь все сходится, и сумма равна 1, как положено. Это как это?

Ладно, в R есть много способов сделать одно и тоже. Строим по другому. На этот раз получаем вероятность 0.43. Этого не может быть, т.к. из 0.22 (при сумме 0.59) получить 0.43 нельзя никак.

Суммируем значения гистограммы, получаем - 0.991. Напомню, д.б. =1. Даже если все правильно, получаем 1% ошибки. Это ошибка просто офигенная - такого просто не может быть.

После такого, доверие к R как-то, знаете, падает. А если тоже самое при других расчетах и более сложных алгоритмах, где проверить не так просто, а чаще и невозможно.

 
Yuriy Asaulenko:

Внимание! В R могут быть ошибки.

Не далее как вчера строил гистограммы. Занимался этим несколько часов, скрипты не писал - все в командной строке. Повторять многочасовые эксперименты только для того, чтобы выложить коды, нет никакого желания.

Итак, строим гистограмму. По гистограмме вероятность нахождения значений ряда в некотором диапазоне - 0.22. Это прекрасно, однако по самой гистограмме что-то непохоже. Суммируем все - получаем 0.59, а не 1, как должно быть.

Далее строим те-же гистограммы для выборки равномерно-распределенных случ процессов. Здесь все сходится, и сумма равна 1, как положено. Это как это?

Ладно, в R есть много способов сделать одно и тоже. Строим по другому. На этот раз получаем вероятность 0.43. Этого не может быть, т.к. из 0.22 (при сумме 0.59) получить 0.43 нельзя никак.

Суммируем значения гистограммы, получаем - 0.991. Напомню, д.б. =1. Даже если все правильно, получаем 1% ошибки. Это ошибка просто офигенная - такого просто не может быть.

После такого, доверие к R как-то, знаете, падает. А если тоже самое при других расчетах и более сложных алгоритмах, где проверить не так просто, а чаще и невозможно.


Хотелось бы увидеть что-либо. 

Строю гистограммы регулярно, но ничего не замечал.

 
Yuriy Asaulenko:

Внимание! В R могут быть ошибки.

Не далее как вчера строил гистограммы. Занимался этим несколько часов, скрипты не писал - все в командной строке. Повторять многочасовые эксперименты только для того, чтобы выложить коды, нет никакого желания.

Итак, строим гистограмму. По гистограмме вероятность нахождения значений ряда в некотором диапазоне - 0.22. Это прекрасно, однако по самой гистограмме что-то непохоже. Суммируем все - получаем 0.59, а не 1, как должно быть.

Далее строим те-же гистограммы для выборки равномерно-распределенных случ процессов. Здесь все сходится, и сумма равна 1, как положено. Это как это?

Ладно, в R есть много способов сделать одно и тоже. Строим по другому. На этот раз получаем вероятность 0.43. Этого не может быть, т.к. из 0.22 (при сумме 0.59) получить 0.43 нельзя никак.

Суммируем значения гистограммы, получаем - 0.991. Напомню, д.б. =1. Даже если все правильно, получаем 1% ошибки. Это ошибка просто офигенная - такого просто не может быть.

После такого, доверие к R как-то, знаете, падает. А если тоже самое при других расчетах и более сложных алгоритмах, где проверить не так просто, а чаще и невозможно.

Без воспроизводимого примера пустой звук. Уж где где а в базовых функциях вероятность ошибки меньше 0.Очевидно сказались многочасовые эксперименты. Из Истории не можете вытянуть последовательность команд? Или Вы не в Rstudio упражняетесь?

 
Vladimir Perervenko:

Без воспроизводимого примера пустой звук. Уж где где а в базовых функциях вероятность ошибки меньше 0.Очевидно сказались многочасовые эксперименты. Из Истории не можете вытянуть последовательность команд? Или Вы не в Rstudio упражняетесь?

В R 3.4.1 c https://www.r-project.org/

Для того, чтобы только воспроизвести ряд (который мне уже не нужен) нужно минимум полтора часа. Понятно, что только ради выкладывания результатов на форуме делать я это не буду. Вчера, когда все было, к сожалению, не сообразил написать в тему. 

Потому написал по возможности аккуратно и ничего не утверждая - Внимание! В R могут быть ошибки. Не есть, а именно могут быть.) В общем, не настаиваю. Считаете, что все хорошо, значит так и есть.

Интересно, что для одних рядов при построении гистограмм они явно есть, а для других рядов их, вроде, и нет. В итоге, пришлось уйти в Excel и там все закончить.

PS Да, спасибо, напомнили про RStudio. Уже ставлю. Имхо, поудобней будет, чем с R из КРАНа.

 
Yuriy Asaulenko:Интересно, что для одних рядов при построении гистограмм они явно есть, а для других рядов их, вроде, и нет. .


setwd("D:/")                     # зададим рабочую директорию
x <- read.csv("x.csv", head=T)   # загрузим файл с данными
sapply(x, class) # к какому классу относится содержимое переменной

 
Vladimir Perervenko:

Введите параметр который будет определять качество Вашего советника, при отклонении его значения ниже установленного Вами предела, переобучайте модель. Все это возможно сделать в R не выходя из рабочего состояния. 

В чем проблема?

Я не использую R за полной его бесполезностью в разработке ботов :) Если нужны какие-то стат исследования то можно.. все остальное делается в мт5, в т.ч. либы с нейросетми можно использовать напрямую как dll, зачем тут R
 
Maxim Dmitrievsky:
Я не использую R за полной его бесполезностью в разработке ботов :) Если нужны какие-то стат исследования то можно.. все остальное делается в мт5, в т.ч. либы с нейросетми можно использовать напрямую как dll, зачем тут R

Очевидно Вам R никчему. Удачи

-----------------------

СанСанычу:

Поскольку Вы переключились на регрессионные задачи посмотрите это 

Удачи

Neural networks for algorithmic trading. Multimodal and multitask deep learning
Neural networks for algorithmic trading. Multimodal and multitask deep learning
  • 2017.07.09
  • Alex Honchar
  • medium.com
Here we are again! We already have four tutorials on financial forecasting with artificial neural networks where we compared different…
 
Vladimir Perervenko:

Очевидно Вам R никчему. Удачи

-----------------------

СанСанычу:

Поскольку Вы переключились на регрессионные задачи посмотрите это 

Удачи


Я пытаюсь освоить совершенно конкретную модель - GARCH. Она меня привлекает тем, что исходный ряд разлагается на составляющие и потом отдельно моделируются эти составляющие. Причем разложение на составляющие интуитивно понятно и напрямую связано с переобучение модели. Так как в моделях меня интересует исключительно их склонность к переобучению (переобученные советники я могу делать в ТА со временем жизни до полугода), то это и определило выбор GARCH.

В НС мне не известны подходы, которые бы позволяли бы учесть толстые хвосты, изломы... Как мне кажется, сама модель НС вообще не имеет никакого отношения к проблемам исходного котира.

В GARCH во время подгонки модели я могу провести тестирование, которое служит основанием, что в будущем полученная модель будут вести себя точно так же как и на учебных данных. На данный момент я не умею подгонять GARCH, параметры которой были бы значимы с вероятностью выше 90%.

Причина обращения: