Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 237

 
ivanivan_11:
ну а что? все плохо,судя по всему? победить рынок в виде купил и держи не удалось.

вопрос не в том...

 вопрос в том почему модель которая обучается на рандоме лучше себя чувствуют на новых рыночных данных (OOS), чем та модель которая изначально тренировалась на рыночных данных 

p.s. никто и старался создать супер систему

 
mytarmailS:

вопрос не в том...

 вопрос в том почему модель которая обучается на рандоме лучше себя чувствуют на новых рыночных данных (OOS), чем та модель которая изначально тренировалась на рыночных данных 

p.s. никто и старался создать супер систему

Переобучена. Переобученная модель вообще не обладает характеристиками.
 
СанСаныч Фоменко:
Переобучена. Переобученная модель вообще не обладает характеристиками.

вопросы... 

1) почему та что обучена на  рандоме не переобучена?

2) почему та что обучена  на рандоме не сливает направлено депозит?

3) почему та что обучена  на реальных данных сливает направлено те трендом?

 
mytarmailS:

вопросы... 

1) почему та что обучена на  рандоме не переобучена?

2) почему та что обучена  на рандоме не сливает направлено депозит?

3) почему та что обучена  на реальных данных сливает направлено те трендом?

Мне кажется (не уверен)

  • рандом не возможно переобучить - шумнее шума не бывает
  • обученная чему-то, а реально переобученная, вне выборки обучения ведет себя произвольно - обучение не имеет никакого отношения к ее будущему поведению. 

 
mytarmailS:

вопросы... 

1) почему та что обучена на  рандоме не переобучена?

2) почему та что обучена  на рандоме не сливает направлено депозит?

3) почему та что обучена  на реальных данных сливает направлено те трендом?

Дело в том, что обучая на шум получаем нейтральную систему. Она так же по сути рандомно работает с рыночными данными. А поступать случайно на рынке выгоднее, чем думать что знаешь куда пойдет рынок (обученная сетка так думает, что знает).

Ничего удивительного поэтому нет, рынок всегда старается двигаться против своей статистики (против массы), а обучение - это зубрёжка статистики в худшем случае и улавливание закономерностей в лучшем. Но ни статистика ни закономерности не работают в будущем, потому что  рынок всегда старается двигаться против своей статистики, против массы. Круг замкнулся. Обучение не имеет смысла, всё что будет выучено (в хорошем смысле, без переобучения), будет бесполезно на ООС.

Отсюда и средние (не хорошие и не плохие) результаты на рыночных данных системы обученной на рандоме. Эти мысли были ещё озвучены мною где то в 2009м, когда я предлагал генерировать синтетический ряд по сути из рандомных данных но с параметрическими характеристиками и изучать как ТС ведёт себя на таких данных, что бы потом применять на рыночных реальных данных. Это можно сказать "пессимистичный подход" к рынку.

"Оптимистичный" подход заключается в так же озвученном мною в том же году - "перетекающие паттерны". Смысл в том же - рынок постоянно меняется, но разница в том, что бы отслеживать эти изменения, отслеживать производную рынка и торговать против изменений (или согласно изменениям).

Оба подхода "пессимистичный" и "оптимистичный" не противоречат друг другу, просто взгляд на рынок с разных сторон (фас/профиль).  

Причем заметьте, я ни слова не сказал, что рынок случаен. Если бы рынок был случаен, то мы бы не наблюдали подобных эффектов с моделями обученными на случайных данных. Да и не дадут Дяди быть рынку случайным (экономика её за ногу).

 

Попробовал отобрать рабочие паттерны "своим способом" из рандома, модель обучалась очень долго, отобрал первый попавшийся лучший паттерн на бай и тут студия подвисла и пришлось ее крыть через завершение задач, модель то я успел сохранить но не сохранилась целевка и по сути поиск  паттернов стал невозможен, нужно наново обучать всю модель, вот такая неприятность...

а тот единственный паттерн который я успел записать оказался довольно хорошим(или мне так хотеться думать :)) )

 й

я 

 Выглядит очень даже приятно, согласитесь!!!

кол. прибыльных 77%  это гуд

соотношение тейк/стоп больше чем 1к2 это тоже +- неплохо 

 

напрягает только две вещи - то что паттернов таких на  oos оказалось всего 9 , это ничто для статистики и второе, практически весь oos на рынке тренд вверх и сам паттерн на бай, так что резы могут быть не совсем адекватны, так случайно получилось, я ничего не подгонял

 

Кароче нужно наново обучать модель и тестировать, тестировать, думать и опять тестировать... А пока всем добра)

 
mytarmailS:

Попробовал отобрать рабочие паттерны "своим способом" из рандома, модель обучалась очень долго, отобрал первый попавшийся лучший паттерн на бай и тут студия подвисла и пришлось ее крыть через завершение задач, модель то я успел сохранить но не сохранилась целевка и по сути поиск  паттернов стал невозможен, нужно наново обучать всю модель, вот такая неприятность...

а тот единственный паттерн который я успел записать оказался довольно хорошим(или мне так хотеться думать :)) )

 

 

 Выглядит очень даже приятно, согласитесь!!!

кол. прибыльных 77%  это гуд

соотношение тейк/стоп больше чем 1к2 это тоже +- неплохо 

 

напрягает только две вещи - то что паттернов таких на  oos оказалось всего 9 , это ничто для статистики и второе, практически весь oos на рынке тренд вверх и сам паттерн на бай, так что резы могут быть не совсем адекватны, так случайно получилось, я ничего не подгонял

 

Кароче нужно наново обучать модель и тестировать, тестировать, думать и опять тестировать... А пока всем добра)

Это у вас велс-лаб?
 
Vizard_:
Глянул ради интереса новый набор данных.
toxic -а немного опередил. Тебя еле нашел))) догоняй...
https://numer.ai/

Что-то пошло не так.

Я взял туже модель с теми-же параметрами что в прошлый раз, результат после оценки вышел хуже. Нужно было опять подбирать параметры модели и кроссвалидировать. Я решил пойти в обход, и обучить другую модель, у неё результаты на тренировочных данных гораздо лучше. Счас залил прогноз этой второй модели, а logloss на numerai вышел наоборот хуже. Непорядок. Вернусь к первой модели и буду кроссвалидацию...

 

проверил тот же паттерн но не за пол года (oos)(как в первый раз) , а за 5 лет(oos)

показатели все упали дико, но сказать что паттерн не рабочий язык не поворачиваеться, стопы\ тейки все то же самое, ничего не менялось и не подганялось и еще заметьте на рынке устойчивый тренд вниз, паттерн лонговый, те мы может только торговать в лонг 

й 

если оптимизировать стопы и тейки то можно картинку и получше получиить, но это все же уже подгонка

ф


 я немножко озадачен всем этим, почему это вообще работает?!?!?

 =================================================================

И еще такой вопросик к залу: Это вообще кому то интересно, то что я выкладываю, а то как бы интереса никакого не наблюдаю...

может оно и не надо никому, а я просто засоряю ветку? 

 
mytarmailS:

 =================================================================

И еще такой вопросик к залу: Это вообще кому то интересно, то что я выкладываю, а то как бы интереса никакого не наблюдаю...

может оно и не надо никому, а я просто засоряю ветку? 

Конечно интересно.

Теперь реалтайм. И не забудьте мониторинг сюда. 

Причина обращения: