Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 789

Новый комментарий
 

Правильно ли я понимаю, что AUTO ARIMA сама все считает, мне только нужно загрузить котировки.

На нескольких участках проверил там везде модель ARIMA(0,1,0) получается.

 
Anatolii Zainchkovskii:

вот картиночка ситуации, то что ты это падение увидел за три бара  до , не говорит о том что ты это учитываешь сейчас.


Классная картинка, на ней и приведу пример...

Соотвественно при отсутсвии ошибок в прогнозе как мы можем получить минус если мы видим что будет падение. Когда закрывается нуливой бар с противоположным знаком, мы всё равно знаем что будет падение. Надеосю вопросов по данной картинке не будет..... Мы выбрали окно случайно, но прогнозируем каждый бар в этом окне и соотвественно когда третий бар является нулевым и мы видим большую разницу в прогнозе мы продаем. Но когда мы увидели незначительную разницу по модулу в прогнозе на первом баре мы уже знаем на каком баре будет значительный рост. Просто проблема в недопонимании две. Первая я изясняюсь опуская какието моменты которые считаю очевидными. Вторая вы не допонимаете из за отсуствия опыта. НО задавать вопросы это нормально, поэтому продолжаем...

 
Mihail Marchukajtes:

Классная картинка, на ней и приведу пример...

Соотвественно при отсутсвии ошибок в прогнозе как мы можем получить минус если мы видим что будет падение. Когда закрывается нуливой бар с противоположным знаком, мы всё равно знаем что будет падение. Надеосю вопросов по данной картинке не будет..... Мы выбрали окно случайно, но прогнозируем каждый бар в этом окне и соотвественно когда третий бар является нулевым и мы видим большую разницу в прогнозе мы продаем. Но когда мы увидели незначительную разницу по модулу в прогнозе на первом баре мы уже знаем на каком баре будет значительный рост. Просто проблема в недопонимании две. Первая я изясняюсь опуская какието моменты которые считаю очевидными. Вторая вы не допонимаете из за отсуствия опыта. НО задавать вопросы это нормально, поэтому продолжаем...

вот ключевым тут является  отсутствие ошибок в прогнозе. я прекрасно понимаю что да, этот элемент падения как раз по прогнозу и приносит прибыль , по сути НС не должна задумываться о лосях, есть прогноз значит торгуем его, пришёл новый прогноз торгуем новый. Но всё это просто супер замечательно в 100% предсказывании, но вот как быть когда предсказание даже 90%, ведь 10% ошибочных могут ой как далеко опрокинуть. и вот тут мы должны понимать, как быть с ошибочным прогнозом, ведь сделка то уже открыта.

 

Сегодня думаю появлюсь дома позно но уже несколько дней хочу написать длиннопост. Сделаю я это сейчас там и посмотрим. Но сначала маленькое отсупление. 

Написаную часть стаьи действительно размещу в блоге и скину ссылку. Далее вместо этой статьи я начал писать другую которая звучит так "Методические указания при работе в области машинного обучения". Как то шёл по городу и задумался что не плохо было бы иметь методичку как в вузах, где без воды было бы описаны основные правила как можно и как нельзя делать. Ну тут как говорится поживём и увидите. А теперь сама тема длиннопоста. Вся его суть.....

 В течении этого месяца я совершил прорыв и вы это прекрасно видите, кто то признает это, кто то опровергает, но ни укого не возникла вопроса о том, что оптимизатор Решетова у меня уже давно, но получать хорошие модели я стал тогда когда док накидал в меня командами из Р с пояснениями и уже на следующий день я получир результаты тестов которые никогда не видел в течении всех 15 лет. Знамо дело не в бобине и оптимизатор хоть и делает свою работу хорошо, но дело не в нём. Я просто уверен на 100% что это не единственный оптимизатор в мире который работает лучше всех. Конечноже нет. Большенство пакетов из Р также работают хорошо как и он. Так в чём же проблема. Почему результаты у многих неудовлетворительны и весь костяк ветки машинного обучения до сих пор в поиске и никак не могут найти. Ответ напрашивает простой. Вы делаете ошибки в тех или иных этапах подготовки модели. Рассуждая логически вы думаете что поступаете правильно выбрав тот или иной предик или преобразование, но при этом совершаете какуюнибудь маленькую ошибку полагая что Вы правы но на само деле это не так.

Именно поэтому я начал разговор про регрессию для того чтобы определится как можно, а как нельзя делать. Столкнулся я с собственным заблуждением следующим образом. Логически если подумать. То модель в которой больше входов и длина полинома больше то такая модель якобы умнее и более параметрична, но практика показывала совершенно противоположный результат когда модели с минимальным количеством входов на ООС зарабатывали больше чем модели с большим количеством входов. Это тот самый пример когда думаешь что по логике ты прав, а на практике оказывается что нет.

НО проблема машинного обучения оказывается нев методе получения модели или применения какихто сверх секретных преобразований. Основная ахилесова пята совсем в другом и объяснить я могу на примере, так будет доступно и заоодно разобью в пух и прах картинки Максима.

Предположим мы создали ситему для получения модели регрессии или классификации. не важно. И мы считаем что при проектировании мы не сделали ни одной грубой ошибки. Предположим.

У нас есть тренировочный файл. Мы запускаем его на оптимизацию 10 раз и получаем 10 моделей. Так вот самый сложный до этого для меня был вопрос. Как выбрпать именно ту модель которая не переобучилась и не дообучилась, а является адекватной рынку и т.д. Именно этот вопрос и является ахилесовой пятой. Пусть вы сделали систему ИИ и допустили ккие либо ошибки в ней, но это же не значет что вАША СИСТЕМА ии НЕ СМОЖЕТ СГЕНЕРИРОВАТЬ ОБОБЩАЮЩУЮ МОДЕЛЬ.

Качество системы ИИ определяется как раз таким показателем как количество адекватных моделей к общему числу оптимизаций. Скажем одна система из 100 оптимизайий дает только одну модель которую можно применить, а вторая из тех же ста оптимизаций дает 20 моделей которые пригодны для использования. Становится понятно что вторая система лучше чем первая, потому как оличество правильных моделей в ней больше чем в первой при одинаковом количестве оптимизаций. Для примера Оптимизатор Решетова из четырёх моделей (как правило делаю их не более четырех) дает от одной до двух моделей пригодных. Иногда и четырёх не хватает. Да не вопрос, на пятой шестой или десятой оптимизации он даст модель адекватную рынку. А теперь самое интересное, а как же всётаки определить и найти эту модель. Я нашёл способ. Делаю я примерно так. Я формирую тренировочный файл и провожу четыре треинровки. Далее я оцениваю эти модели и выбираю именно ту которая адекватна и для этого мне нужет только участок треинровки в котором есть участок валидации или тестирования в процессе треинровки. Я оставляю небольшой участок ООС в виде 3-4 сигналов чтоб окончательно убедится что это она и дальше ставлю её в путь. Поэтому именно вопрос выбора модели и является одним из самых важных при подготовки ТС. Продолжу.

 
forexman77:

Правильно ли я понимаю, что AUTO ARIMA сама все считает, мне только нужно загрузить котировки.

На нескольких участках проверил там везде модель ARIMA(0,1,0) получается.

auto.arima {forecast}
> y <- dd$OPEN
> auto.arima(y)
Series: y 
ARIMA(3,1,5) 

Coefficients:
         ar1     ar2      ar3      ma1      ma2     ma3      ma4      ma5
      0.3956  0.4421  -0.6151  -0.4159  -0.4165  0.6288  -0.0257  -0.0515
s.e.  0.0904  0.0701   0.0827   0.0905   0.0708  0.0797   0.0105   0.0115

sigma^2 estimated as 3.406e-06:  log likelihood=66279.3
AIC=-132540.6   AICc=-132540.6   BIC=-132473
 

Писец писал писал и форум глюкнул, поэтому читайте так. Переписавть нет сил..


 
Mihail Marchukajtes:

Сегодня думаю появлюсь дома позно но уже несколько дней хочу написать длиннопост. Сделаю я это сейчас там и посмотрим. Но сначала маленькое отсупление. 

Написаную часть стаьи действительно размещу в блоге и скину ссылку. Далее вместо этой статьи я начал писать другую которая звучит так "Методические указания при работе в области машинного обучения". Как то шёл по городу и задумался что не плохо было бы иметь методичку как в вузах, где без воды было бы описаны основные правила как можно и как нельзя делать. Ну тут как говорится поживём и увидите. А теперь сама тема длиннопоста. Вся его суть.....

 В течении этого месяца я совершил прорыв и вы это прекрасно видите, кто то признает это, кто то опровергает, но ни укого не возникла вопроса о том, что оптимизатор Решетова у меня уже давно, но получать хорошие модели я стал тогда когда док накидал в меня командами из Р с пояснениями и уже на следующий день я получир результаты тестов которые никогда не видел в течении всех 15 лет. Знамо дело не в бобине и оптимизатор хоть и делает свою работу хорошо, но дело не в нём. Я просто уверен на 100% что это не единственный оптимизатор в мире который работает лучше всех. Конечноже нет. Большенство пакетов из Р также работают хорошо как и он. Так в чём же проблема. Почему результаты у многих неудовлетворительны и весь костяк ветки машинного обучения до сих пор в поиске и никак не могут найти. Ответ напрашивает простой. Вы делаете ошибки в тех или иных этапах подготовки модели. Рассуждая логически вы думаете что поступаете правильно выбрав тот или иной предик или преобразование, но при этом совершаете какуюнибудь маленькую ошибку полагая что Вы правы но на само деле это не так.

Именно поэтому я начал разговор про регрессию для того чтобы определится как можно, а как нельзя делать. Столкнулся я с собственным заблуждением следующим образом. Логически если подумать. То модель в которой больше входов и длина полинома больше то такая модель якобы умнее и более параметрична, но практика показывала совершенно противоположный результат когда модели с минимальным количеством входов на ООС зарабатывали больше чем модели с большим количеством входов. Это тот самый пример когда думаешь что по логике ты прав, а на практике оказывается что нет.

НО проблема машинного обучения оказывается нев методе получения модели или применения какихто сверх секретных преобразований. Основная ахилесова пята совсем в другом и объяснить я могу на примере, так будет доступно и заоодно разобью в пух и прах картинки Максима.

Предположим мы создали ситему для получения модели регрессии или классификации. не важно. И мы считаем что при проектировании мы не сделали ни одной грубой ошибки. Предположим.

У нас есть тренировочный файл. Мы запускаем его на оптимизацию 10 раз и получаем 10 моделей. Так вот самый сложный до этого для меня был вопрос. Как выбрпать именно ту модель которая не переобучилась и не дообучилась, а является адекватной рынку и т.д. Именно этот вопрос и является ахилесовой пятой. Пусть вы сделали систему ИИ и допустили ккие либо ошибки в ней, но это же не значет что вАША СИСТЕМА ии НЕ СМОЖЕТ СГЕНЕРИРОВАТЬ ОБОБЩАЮЩУЮ МОДЕЛЬ.

Качество системы ИИ определяется как раз таким показателем как количество адекватных моделей к общему числу оптимизаций. Скажем одна система из 100 оптимизайий дает только одну модель которую можно применить, а вторая из тех же ста оптимизаций дает 20 моделей которые пригодны для использования. Становится понятно что вторая система лучше чем первая, потому как оличество правильных моделей в ней больше чем в первой при одинаковом количестве оптимизаций. Для примера Оптимизатор Решетова из четырёх моделей (как правило делаю их не более четырех) дает от одной до двух моделей пригодных. Иногда и четырёх не хватает. Да не вопрос, на пятой шестой или десятой оптимизации он даст модель адекватную рынку. А теперь самое интересное, а как же всётаки определить и найти эту модель. Я нашёл способ. Делаю я примерно так. Я формирую тренировочный файл и провожу четыре треинровки. Далее я оцениваю эти модели и выбираю именно ту которая адекватна и для этого мне нужет только участок треинровки в котором есть участок валидации или тестирования в процессе треинровки. Я оставляю небольшой участок ООС в виде 3-4 сигналов чтоб окончательно убедится что это она и дальше ставлю её в путь. Поэтому именно вопрос выбора модели и является одним из самых важных при подготовки ТС. Продолжу.

я уже не могу читать весь этот бред умалишенного, ты меня добил

остальные капитаны очевидность и жандармы ясность

сваливаю )

 
Maxim Dmitrievsky:

я уже не могу читать весь этот бред умалишенного, ты меня добил

остальные капитаны очевидность и жандармы ясность

сваливаю )

Он же написал, что бухнул и не спал 2 ночи. На "поговорить" потянуло))

Mihail Marchukajtes:
А вообще, Михаил - надо спать по ночам.

 
Maxim Dmitrievsky:

я уже не могу читать весь этот бред умалишенного, ты меня добил

остальные капитаны очевидность и жандармы ясность

сваливаю )

Макс стопудово грааль нарыл ))

 
Maxim Dmitrievsky:

тема вышла за грани разумного - кто-то давно уже закостенел и зациклился на переобучении и "пакетиках"

кто-то как был дауном в МО так и остался

Тема не то чтобы вышла куда-то - она "размыта". Нет обычной модерации. Какая-то куча, еще похлеще моей ветки.

Но, надо дождаться выхода на авансцену человека с Граалем.

Ждем.

1...782783784785786787788789790791792793794795796...3494
Новый комментарий
Причина обращения: