Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1101

 
FxTrader562:


Дружище, когда Грааль налабаешь?

 
Alexander_K2:

Еще раз публикую графики:

GBPJPY 2018 г.

Верхний - сама цена

Нижний - сумма приращений CLOSE M1 в скользящем окне - неделя. Фактически, детрендированная цена с матожиданием = 0 и дисперсией = практически const. Вечный флет, так сказать...

Мож, кому-нить и пригодится...

ты не понял, мне просто тупо нужно выделить флет , на обычном графике без шаманства


 

Нашел на соседнем форуме:


https://www.elitetrader.com/et/threads/which-one-of-you-guys-made-this-reddit-post.323908/

Some final words

I am a professional quantitative portfolio manager, who has been in the industry for a very long time, and works on the bleeding edge of ML and applied mathematics with focus on the capital markets - I manage $100mn+ these days. I created this account to write on /r/algotrading so that I can interact with a few people on this sub, but as I have seen, this sub is filled with amateurs and it is just annoying reading the feeds most days. I am going to delete my account and I wanted to leave a few points that I hope with help a few people here,

BTC and other crypto-coins are nothing more than another asset. Stop putting it on a pedestal or thinking its anything different.

ML is super hard when applying to financial markets, and its not something anyone can figure out very easily. Most amateurs can play around with RNNs and have a descent strategy, but don't think its going to give you anything extraordinary. It's just another tool in your toolbox to create a strategy.

ML can be used to make some amazing automated trading systems, but it won't be possible for 99.999% of people. People have been doing ML for trading for a very very very very very very long time. You are being exposed to it just now because there are lots of tools and lots of resource that wasn't accessible before. Do not think taking tensorflow, sklearn, <insert library name here> and it will magically make you money. It takes a very long time, ie. decades to get anything automated to the level most of your dreamers think.

Most of you are software engineers here. Stop thinking like one. Writing a new shiny backtesting tool or trading framework is not going to do anything than waste your time. Stop talking about languages, it really doesn't matter. Work on your alpha. Yea, its the thing that you don't know how to build, work on that. Trading frameworks come after.

Anything that works on the intraday time-frame is considered HFT. Stop thinking that its only low-latency stuff, its basically what timeframe most of you are trying to make money in. People can do this, but, you need to find that thing that most of you avoid - alpha. Most people can't succeed here, so most of you, do yourselves a favor, trade daily+ timeframes, it will save you some frustration.

If you have capital, make a portfolio of a few nice assets. Start with management accounting principals and work from there to figure out what makes one asset worth more than another.
Stop asking people where to begin, how their stuff works. MONEY is involved here, no one will help you with anything. No one is going to tell you anything more than what I have said in the few points above. And the people who tell you things, are usually negative such as TA is bullshit or ML won't work or HFT is only latency sensitive stuff - well, most them are idiots who don't know what they are talking about. Let me tell you clear and simple here - TA is not bullshit, it's just mathematical transforms and features that MIGHT contain predictive power, ML can be used very well to make a lot of money, and HFT is anything on the sub-daily timeframe and a lot of strategies are not latency sensitive.

Lastly, there are VERY smart people in the world, who have spent their entire lives studying, building and creating technological and scientific advances more than most of the people here can fathom. These people work in this industry and make a ton of money. I am happy that you saw some documentary of how a lot of people made money in the 70-80s trading and you want to be like them. Sorry, the world is different, with the availability of information and higher education standards, the bar to be good in this industry is very very very very high. So, you need to be a good scientist or have that mentality today to be good in this industry. Its great you want to be like the best of this industry, so start with being humble.
Anyways. Good luck and goodbye.

- xxzam




Перевод на русский

Последняя воля

Я являюсь профессиональным количественным управляющим портфеля, который очень долгое время работает в этой отрасли, в частности в машинном обучении и прикладной математике с акцентом на рынках капитала, сегодня я управляю более $ 100 млн. Я создал эту учетную запись, чтобы писать про r и algotrading, чтобы я мог контактировать с несколькими людьми по этой теме, но, эта ветка переполнена любителями, что часто раздражает. Я собираюсь удалить свою учетную запись и хочу оставить несколько последних слов, которые, я надеюсь, помогут некоторым людям.

Битокоин и другие альткоины - не более чем очередные активы. Перестаньте возводить их на пьедестал или мыслить о них как о чем то фундаментально отличном от прочих фин-инструментов.

Машинное обучение крайне сложно применить на финансовых рынках, это не то что может запросто сделать каждый. Большинство новичков играются с RNN и получают сливные стратегии, не думайте что это даст вам что то экстраординарное. Это просто очередной инструмент в вашем инструментарии для построения торговых систем.

ML может быть использовано для получения замечательных торговых систем, но это не возможно для 99,999% людей. Люди использовали Ml для алготорговли уже очень очень очень очень очень очень давно. Вы занялись этим сейчас, потому что появилось много ресурсов и инструментов которые раньше небыли доступны публике. Не думайте что взяв tensorflow, sklearn, <вставить сюда название библиотеки> и это магически сделает вам много денег. Это занимает очень много времени, то есть десятилетия, чтобы достичь уровня качества и автоматизации о которых вы мечтаете.

Большинство из вас тут программисты. Хватит думать одинаково. Написание нового лучезарного бэктестера или торговой платформы не сделает ничего большего чем просто потратит ваше время. Прекращайте думать о языках, это реально не имеет значения. Работайте над Альфой. Да, эта та вещь которую вы не знаете как сделать, работайте над ней. Торговые фрэймворки оставьте на потом.

Всё что работает на внутри дневных временных интервалах может считаться высокочастотной торговлей. Перестаньте думать о ХФТ как о наносекунтной торговле крайне чувствительной к скорости исполнения ордеров, это просто очередной временной интервал для делания денег. Многие люди этим занимаются, но вы должны найти то что большинство избегают - Альфу. Большинство людей не преуспеют в ХФТ, поэтому сделайте себе одолжение, торгуйте на среднесрочных временных интервалах(дни, недели), это возможно спасёт вас от быстрого разочарования.

Если у вас есть капитал, сделайте маленький портфель из нескольких хороших активов. Начните с принципов управленческого учета и работайте от туда, чтобы выяснить что делает один актив лучше другого.

Прекращайте спрашивать публику о том с чего начать и как работают их алгоритмы. Здесь замешаны ДЕНЬГИ, никто не будет вам помогать в этом. Никто не скажет вам ничего ценней, чем я уже сказал в предыдущих пунктах. А люди которые будут поносить тех-анализ, говорить что ML не работает, а ХФТ - только зависит от скорости исполнения ордеров, ну чтож, большинство из них идиоты, которые не знают о чем говорят. Позвольте мне прояснить здесь что ТА - не дерьмо, это просто математические трансформации данных и признаки которые МОГУТ содержать предсказательную силу, ML может быть очень продуктивно использоваться и перенести много денег, а ХФТ это просто торговля в внутри дневных масштабах, где многие стратегии не очень чувствительны к временным задержкам.

И наконец, существуют ОЧЕНЬ умные люди на земле, которые тратят свои жизни на изучение, создание и построение научного и технологического прогресса больше чем большинство других людей могут понять. Эти люди работают в этой индустрии и делают большие деньги. Я рад что вы посмотрели документалку как люди торговали в 70-80 годах и вы хотите быть как они. Извините но мир изменился, порог вхождения в эту область недостижимо высок. Так что вы должны быть великолепным ученым или иметь аналогичные умственные способности чтобы быть в этой индустрии. Это хорошо что вы хотите быть как лучшие в этой области, но начать нужно со скромности. 

В любом случае удачи и пока.

 
mytarmailS:

Слушай я не слишком в теме этого всего, если честно то вообще не в теме ..  но ты утверждаешь что рынок случаен,  а это не так

Движения рынка зависят от действия участников рынка, от покупок и продаж верно?

конечно верно, те получается что участники делают случайные сделки, те лишены разума, логики те это не люди а какие то атомы в кипящей воде которые что то хаотично делают

Максим лично твои сделки на рынке случайны?

Нет! ты тренируешь сеть на истории и используя статистическое преимущество открываешь сделку, я тебе скажу более, так все делают, это и есть так называемая "память рынка"

А еще на рынке есть уровни, это например когда ты купил Максим что то по цене 100 цена резко сквизанула и тебя не закрыли по стопу по 99 и цена сейчас по 75 и ты сидишь в убытке молишся что бы цена вернулась, когда цена возвращаеться к 100 ты  сразу закрываешь свою покупку, те делаешь продажу и цена падает. Вот это и есть уровень а не екстремумы

Естественно ты там будешь не один так как толпа заходит +- в одних и тех же точках.

Так вот уровни никто не учитывает  когда делают тесты на броуновское движение цена или нет

Это всё верно, но факторов намного больше Вами объявленных, причем те из них, которые спекулятивные, о которых Вы говорите, имеют ничтожно малое влияние, особенно на форексе, это если говорить о только "чистом" фундаментале и иерархии уровней доступа к инсайдерской инфе, а также чисто случайных крупных сделках которые часто происходят в не зависимости от ситуации на рынке, можно прибавить сюда ещё разные "анти-ТА" стратегии, которые работают с капиталом способным забирать стопы и выбивать уровни не у лохов с ДЦ а на межбанке, то всё станет совсем "эффективным" и почти что случайным, как он и наблюдается в реале.

 
mytarmailS:

Не знаем, согласен, но косвенно можем попытаться выявить ...

1) крупный игрок  контр агент толпы, те без толпы он не зайдет, тупо не об кого открыть и закрыть позу

2) толпа работает от статистики "память рынка" по принципу  - делай сейчас так было выгодно делать в прошлом

Вот на этом моменте и можно с играть, косвенно выявлять зоны где толпа будет делать что то однозначное.


Вот здесь например , рынок всем говорил покупать почти целый день, и то что сегодня будет падения мы могли знать еще вчера

зеленые точки это перекупленость, толпа вчера тупо целый день покупала


Такое бывает очень редко, чтобы целый день

Я уже показывал часть этого индикатора в работе Волшебнику но он не воспринял в всерьез, я просил Максима помочь перенести его в МТ4 но он тоже занят своими делами.

Кароч, прогнозировать можно, но сложно и не всегда

Идея выявления "стратегии толпы" бородатая и седая, к сожалению она на практике не более эффективна чем искать по корреляции паттернов в прошлом и экстраполировать будущее "победителей", чем занимался наверно каждый алготрейдер. Причина в том что "толпа" очень не однородна, настолько что не действует когеретно, как хотелось бы, большую часть времени, кроме того статистическое преимущество при прогнозировании направления на час вперед, используя много данных и самые топовые алгоритмы ML не превышает 2-3%, то есть в статистическом смысле не валидные, нет против чего играть, а классический ТА в чистом виде это - шум.

 
Грааль:

столько слов, а одна вода... общие фразочки толпо-торетиков.

зы. Это я имею тебя ввиду, а не этого мужика с форума

 
Грааль:

Нашел на соседнем форуме:


да, нормь

надо много работать что бы достичь хоть чего-то в этой области. А дальше уже зависит от врожденных способностей. И естественно обсуждение МО нубами вызывает умиление, такое же когда вспоминаешь как сам начинал изучать азы и пытался умничать

 
mytarmailS:

столько слов, а одна вода... общие фразочки толпо-торетиков.

зы. Это я имею тебя ввиду, а не этого мужика с форума

Не полных 8 строчек:)

Могу ещё короче: "толпу" на рынке нельзя обнаружить с помощью статистики(МО в том числе), что бы играть против неё

Для Вас пока что это сверценная идея, Вы поэтому тыкаете мне и по юношески с эмоциями осуждаете мою критику, но когда сами проверите, тихо согласитесь.

 
Грааль:

Не полных 8 строчек:)

Могу ещё короче: "толпу" на рынке нельзя обнаружить с помощью статистики(МО в том числе), что бы играть против неё

Для Вас пока что это сверценная идея, Вы поэтому тыкаете мне и по юношески с эмоциями осуждаете мою критику, но когда сами проверите, тихо согласитесь.

критика должна быть критикой, а у вас высказывания , ели критикуете то говорите : Я думаю что ты не прав - потому что....  читал , проверял, пробовал  итп...

Если бы все выражались именно в таком виде ,  в этой ветке страниц бы убавилось на 1000

А так ваши высказывания можно сравнить в выстрелами в воздух, холостыми патронами, такие высказывания естественно только раздражают, после чего получаете прогнозированую реакцию , странно что вы как не юноша этого не поняли 

зы. И мне не надо по короче, надо содержательно, еще лучше если с картинками

 
mytarmailS:

А так ваши высказывания можно сравнить в выстрелами в воздух, холостыми патронами, такие высказывания естественно только раздражают, после чего получаете прогнозированую реакцию

 а зачем на неизвестных людей так эмоционально реагировать? это форум, зашел человек, высказал свое мнение и не более, это же не платные курсы по подготовке на непонятную профессию )))

а так в целом, я и писал несколько дней назад такую же мысль, что и у @Грааль - не все можно прогнозировать, что есть спонтанные действия одного или малой группы участников, по сути форсмажор, но это спланированное действие или реально форсмажор, что участник зашел просто купить по рынку большим обьемом и ушел, а не с целью получить спекулятивную выгоду

Тут вообще как ситуация на Форексе обстоит, чистое мое имхо, вспомним того же Сороса и фунта, история уже "с бородой" и по сути она просто хорошо пропиарена, но то,что творится ежедневно на рынке не освещается так тщательно, а реально эта "СоросИстория" крутится каждую неделю/месяц - "волки жрут баранов" )))), индустрия действительно дорогая, нехочу гуглить, года три назад смотрел объявления приеме квантов в инвесткомпании, там ценник за кванта от 100к $ был

Причина обращения: