Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 83

 
mytarmailS:


Любые действия начиная от визуального просмотра графиков и поиска закономерностей в пролом и заканчивая тренировкой нейросетей  есть ничто иное как торговля по статистике, по той самой которая не работает на рынке, понимаете о чем я вообще говорю?

рынок ходит против сделок толпы   -----   толпа действует по статистике    ------   все что нужно это предугадать действие толпы в будущем и сделать наоборот, предугадать можно единственным способом, ето статистика


Если под статистикой понимать инструменты, работающие ТОЛЬКО на стационарных случайных процессах, то такая статистика не работает, так как финансовые рынки - это нестационарные процессы, на которых горячо любимые понятия "средняя", "корреляция" и прочая, прочая -  пустой звук.

А вот машинное обучение обычно не относят к статистике, а относят к искусственному интеллекту. 

 

По поводу идеи Mihail Marchukajtes до которой я тоже додумался  за несколько дней до того как он появился в этой ветке, может кому то будет интересен результат, мне кажется такой подход тоже правильный очень даже жизнеспособный , я уже давно заметил некий технический паттерн, который время от времени срабатывает , паттерн суто на продажу (но я позволил сети и покупать для интереса), я прописал его  и когда цена приходит к определенной точке "Х" в паттерне я разрешаю сети делать выбор покупать/продавать/отдыхать, те сеть не анализирует все котировки постоянно , а только когда наступает некое условие, включается и сеть..

целевая была из трех классов , такая  -  когда наступает точка "Х" выставляются ментальные стоп лосы и тейк профиты на покупку и на продажу:

 покупать -  если взят тейк покупки и не был выбит стоп

продавать -  если взят тейк продажи и не был выбит стоп

отдыхать - если выбило по стопу и покупку и продажу и ни один тейк не был достигнут 

тейк был в 2 ли в 3 раза больше стопа, уже не помню точно извините , вроде все таки  в 3 раза

 

Не смотря на то что сеть в реальности торговала на много хуже чем на валидации,  (на валидации кол. правильных ответов был 63% а в реальной торговле около 20%)  но тем не мение алгоритм оказался прибыльным 

 йй

 

 фф

 

 но чаще все таки такое

яя 

паттерн сам по себе шортовый по этому покупки явно здесь  не отмечаются точностью и прибыльстю

уу 

гг 

А если таких паттернов запрограммировать 10 а не один ?  интересно ? ;) 

 
СанСаныч Фоменко:

Если под статистикой понимать инструменты, работающие ТОЛЬКО на стационарных случайных процессах, то такая статистика не работает, так как финансовые рынки - это нестационарные процессы, на которых горячо любимые понятия "средняя", "корреляция" и прочая, прочая -  пустой звук.

А вот машинное обучение обычно не относят к статистике, а относят к искусственному интеллекту. 

под статистику подойдет все что используеться  подавляющим большинством , если я правильно понял реплику

 И еще в до гонку допишу :

вы вот пишите про  нестационарность и рынки, маш. обучение, а вы знаете что есть общепринятые инструменты для прогнозирования нестационарных процессов и их не много, это "МГУА" , скрытые марковские модели и рекурентные нейросети(возможно ошибаюсь на счет сети, возможно просто для ВР) 

нейросети, форесты всех мастей и.т.п НЕ предназначены для нестационарных данных, почему мы все в том числе и я используем инструменты не по их назначению?  Вопрос) 

 
СанСаныч Фоменко:

100% для дерева абсолютная чушь!

Если все Ваши предикторы шумовые, то такого результата очень сложно добиться: все равно ошибка будет 3%-5%. Шум всегда дает очень качественные результаты при всех кроссвалидациях и прочих ухищрениях.

Точность 100% означает единственное: среди предикторов у Вас находится дубль целевой переменной (какая-то ее модификация). Т.е. модель заглядывает в будущее.

Я помню пример на ваших данных из ALL_cod.RData, датасет TF1 или как-то так, с первой целевой переменной лес даже с небольшим числом деревьев давал почти 100% результат. А увеличивая число деревьев в лесу точность вырастала даже до абсолютных 100%. Лес может вообще запомнить каждый конкретный обучающий пример, если его параметры variables и trees достаточно большие для этого.

А у mytarmailS всё наоборот, лес с небольшим числом параметров даёт неплохой результат, а с увеличением деревьев - точность падает. Кроссвалидацию он не использует, так что разговор о самих обучающих данных. Так не бывает. Точность леса на обучающих данных будет падать только с уменьшением его параметров variables и trees, а не наоборот. Разве такое возможно?

 
Dr.Trader:

А у mytarmailS всё наоборот, лес с небольшим числом параметров даёт неплохой результат, а с увеличением деревьев - точность падает.

Нет, немного не так, точность не падает, падает количество сделок. Из за того  что классы 1 и -1 уже не могут обучаться так как у них все наблюдения закончились, а класс "0" еще может и может, и если его начать до обучать чтоб все выглядело красиво то он поглотит в себя и те не многие наблюдения которые предназначались классам -1 и 1 , и если натренировать мою модель общепринятым способом те сильно с больш. кол. деревьев то на выходе у модели будут одни нули, класс "0" - "ничего не делать" 
 

Грузный колокол

А на самом его краю

Дремлет бабочка . ( Японская хоку.)

 Наблюдаю за веткой из зрительного зала, и не могу понять, а надо мне это?

С одной стороны- машинное обучение, искусственный интеллект, нейросети. Главный вопрос , как я понимаю, в искусстве выявления и комбинирования прецендентов (закономерностей) и предикторов (прогностических параметров). Всё это круто, можно научить компьютер распознавать речь, вычленять спам, более точно ставить диагнозы.  С другой стороны, рынок, такая субстанция что количество факторов здесь бесконечно и вопрос -можно ли их разделять на главные и второстепенные?

Несколько зарисовок. 2011г. Япония . Фукусима. Цунами привело к аварии на АЭС . Что породило цунами- землятресение или взмах крыла бабочки, по теории хаоса, не имеет значение . Важно что это невозможно прогнозировать, а также знать влияние на рынок. Казалось бы , такая авария , эвакуация населения , радиация, тикай с острова. А нет. Авария произошла 11 марта , а уже 16 марта индекс Nikkei показывает небывалый рост.  Оказалось, что японцы, не побежали как крысы с тонущего корабля, а наоборот, начали возвращать капиталы на Родину , чтобы помочь восстановится.

Год назад. Германия . Вольфсбург. Завод ''WV " и город построен по приказу Гитлера для создания немецкого народного автомобиля. Здесь в роли бабочки выступил программист, запрограммировав  отсутствие вредных выбросов дизельных двигателей только во время тестовых стендовых испытаний. Скандал. Акции "WV" вниз. DAX заколбасило.

Наши дни. Опять Япония. Акции " Nintendo" взлетают вверх. Капитализация превышает например экспорт оружия США. Ну кто мог подумать что такая шняга как  " Pocemon Go" станет такой суперпопулярной? 

В ветке обсуждаются системы построенные на данных по неделям , месяцам и даже годам. Ищется какой-то главный стабильный форекс сигнал. У меня это вызывает недоумение. В течении дня какая нибудь бабочка, статистика, заявление могут так и в хвост и гриву "переобучить" рынок, что мало не покажется. Построить стабильную систему работающую хотя бы неделю , также вероятно, как и собрать Боинг из деталей найденных на помойке. 

 
Yuri Evseenkov:

Грузный колокол

В чем смысл поста? я не понял
 
Dr.Trader:

Я помню пример на ваших данных из ALL_cod.RData, датасет TF1 или как-то так, с первой целевой переменной лес даже с небольшим числом деревьев давал почти 100% результат. А увеличивая число деревьев в лесу точность вырастала даже до абсолютных 100%. Лес может вообще запомнить каждый конкретный обучающий пример, если его параметры variables и trees достаточно большие для этого.

А у mytarmailS всё наоборот, лес с небольшим числом параметров даёт неплохой результат, а с увеличением деревьев - точность падает. Кроссвалидацию он не использует, так что разговор о самих обучающих данных. Так не бывает. Точность леса на обучающих данных будет падать только с уменьшением его параметров variables и trees, а не наоборот. Разве такое возможно?

Модель переобучена, так как перечень предикторов не чистился от шумовых предикторов. Это учебный пример и таковым сделан преднамеренно. Поэтому я так уверенно говорю
 
mytarmailS:
В чем смысл поста? я не понял
Да так мысли вслух. Не обращайте внимание.
 
Yuri Evseenkov:

Грузный колокол

А на самом его краю

Дремлет бабочка . ( Японская хоку.)

 Наблюдаю за веткой из зрительного зала, и не могу понять, а надо мне это?

С одной стороны- машинное обучение, искусственный интеллект, нейросети. Главный вопрос , как я понимаю, в искусстве выявления и комбинирования прецендентов (закономерностей) и предикторов (прогностических параметров). Всё это круто, можно научить компьютер распознавать речь, вычленять спам, более точно ставить диагнозы.  С другой стороны, рынок, такая субстанция что количество факторов здесь бесконечно и вопрос -можно ли их разделять на главные и второстепенные?

Несколько зарисовок. 2011г. Япония . Фукусима. Цунами привело к аварии на АЭС . Что породило цунами- землятресение или взмах крыла бабочки, по теории хаоса, не имеет значение . Важно что это невозможно прогнозировать, а также знать влияние на рынок. Казалось бы , такая авария , эвакуация населения , радиация, тикай с острова. А нет. Авария произошла 11 марта , а уже 16 марта индекс Nikkei показывает небывалый рост.  Оказалось, что японцы, не побежали как крысы с тонущего корабля, а наоборот, начали возвращать капиталы на Родину , чтобы помочь восстановится.

Год назад. Германия . Вольфсбург. Завод ''WV " и город построен по приказу Гитлера для создания немецкого народного автомобиля. Здесь в роли бабочки выступил программист, запрограммировав  отсутствие вредных выбросов дизельных двигателей только во время тестовых стендовых испытаний. Скандал. Акции "WV" вниз. DAX заколбасило.

Наши дни. Опять Япония. Акции " Nintendo" взлетают вверх. Капитализация превышает например экспорт оружия США. Ну кто мог подумать что такая шняга как  " Pocemon Go" станет такой суперпопулярной? 

В ветке обсуждаются системы построенные на данных по неделям , месяцам и даже годам. Ищется какой-то главный стабильный форекс сигнал. У меня это вызывает недоумение. В течении дня какая нибудь бабочка, статистика, заявление могут так и в хвост и гриву "переобучить" рынок, что мало не покажется. Построить стабильную систему работающую хотя бы неделю , также вероятно, как и собрать Боинг из деталей найденных на помойке. 

Ваше НЕ понимание носит принципиальный характер по предмету.

1. Все, что Вами написано, абсолютно верно для прогнозов типа экстраполяции, которые, в свою очередь, работоспособны для стационарных временных рядов. Вы  приводите реальные примеры, которые говорят о нестационарности финансовых рядов и здесь Вы абсолютно правы. Более того, новости являются не единственной причиной нестационарности.

2. Здесь обсуждаются прогнозы на основе классификации, которая не учитывает предыдущее состояние при прогнозе следующего бара.  Предсказания (прогнозы) на основе классификации - это прогнозы по паттернам. И если в прошлом были новости, которые привели к изменениям, которые НЕ вытекают из предыдущих значений (не экстраполируются), то классификация выловит такое изменение как таковое и если в будущем будет похожее изменение (не точно такое же, а похожее) то оно будет распознано и сделан правильный  прогноз.

Так что при классификации покемоны не страшны. 

Причина обращения: