Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 221

 
Andrey Dik:
Пожалуй самое здравое и объективное мнение о R, которое я видел за последнее время. Шаблонность мышления - вот чем страдают старые поклонники R, кого ни возьми хотя бы даже с этого форума, они все мыслят одинаково, даже можно их перепутать между собой если не смотреть на ники - настолько однотипно они рассуждают. 

При обсуждении R без  Вас обойтись не возможно, хотя совершенно не ясно, ЧТО Вы тут делаете.

Но раз Вы здесь, то  на Вашем примере.

Вы разработали генетический алгоритм, умеете, может быть лучше всех в мире.

Я не умею писать генетические алгоритмы. Причем не потому, что мне этого не осилить, а потому, что не нужно.

Поясню.

В реальной торговой системе я использую  функцию rfe (обратный отбор предикторов из caret). Дает не очень хорошие результаты. Может использовать Ваш генетический алгоритм? Сто раз нет, так как в том же caret имеется функция gaf (выбор предикторов генетическим алгоритмом). Но кроме этого опять же в том  же caret имеется еще одна функция  saf (отбор предикторов  методом имитируемой устойчивости - отжига), которая гораздо эффективнее в МОЕЙ ПРОБЛЕМЕ, ЧЕМ ГЕНЕТИЧЕСКИЙ АЛГОРИТМ. Проблема в моей торговой систем одна, а инструментов три, при этом трудоемкость замены одного на другой - это замена трех букв. Более того, и может быть самое главное: ВСЕ ТРИ ФУНКЦИИ СОСТЫКОВАНЫ С ДРУГИМИ ФУНКЦИЯМИ, КОТОРЫЕ МНЕ НЕОБХОДИМЫ.

  

Передо мной вообще не стоит проблема программирования генетического алгоритма. Но при решении своих проблемм я запросто могу использовать самые разные алгоритмы, включая генетический. В реальности стоит проблема отбора предикторов, это вычислительно емкая проблема и для ее решения кроме перечисленных R имеет большое число инструментов, которые запрограммированы НЕ на R. 

 
J.B:

Смотря какие исследования, если исследования студента, чтобы сдать курсовую то да, куда проще взять с полки функцию, прогнать,  ещё и отчет получить стандартный в придачу с красивыми графиками, тут вопросов нет.

Если исследования инженера кванта, в финансовой конторе, где забирают деньги с рынка, не только за счет комиссий, или околорыночных технологий, то ситуация иная. Как правило, в правильных конторах, лет за 5 выстраивается своя торговая инфраструктура, где есть 95% всех необходимых инструментов, которые удобно обернуты и ими можно пользоваться не на много сложнее чем в R..........

да это все понятно, и я согласен с вами но вы про продакшн говорите, но тут нету кванов, и нету людей с инфраструктурой которую делали 5 лет...  а перед тем как эту инфрастуктуру делали, были же начальные иследовния ,вот именно на этом уровне и находиться большинство, те в поиске идей, вы же говорите о продакшыне...

в моем понимании схема такая 

1) поиск рабочей идеи

 2) нахождение рабочей идеи 

 3) глубочайшее иследование этой идеи

4) делание торговой и иной инфраструктуры под эту идею (продакшн)

 

 вот вы сейчас противоставляете первый пункт четвертому  -  а ето как бы гон, понимаете мою мысль?

 

так вот для первого пункта, когда надо быстро перебрать кучу идей R это вещь, на четвертом пункте это с++ естестно 

 

СанСаныч Фоменко: 

Я не умею писать генетические алгоритмы. Причем не потому, что мне этого не осилить, а потому, что не нужно.

 Как то работал в геймдейверской конторе годик, вспомнил об этом, так как там на предварительном собеседовании попросили написать сортировку пузырьком или более быструю, без заглядывания в интернет разумеется, я написал, мне показалось это ТЗ детским, однако потом меня просветили что 70% народа не может это сделать. Считаю это правильно, есть некоторый набор базовых алгоритмов которые должен знать как 2+2=4 специалист, в той или иной области, так как это значительно увеличивает, как минимум способность их эффективно использовать, не говоря уже что бы модифицировать и создавать более эффективные аналоги. Квант должен уметь без подглядываний написать MLP, баес, Knn, лес и тп. Это 2+2=4 для кванта.

СанСаныч Фоменко:

 я использую  функцию rfe (обратный отбор предикторов из caret). Дает не очень хорошие результаты.  имеется функция gaf..

 Ну вот, да, такие примерно разговоры у потребителей "десятков тысяч функций" которые они не понимают, а просто пробуют. К сожалению всё что дают попробовать, уже кто то попробовал и там уже "нет рыбы", особенно в отношении алготрейдинга, всё это богатство количества функций иллюзорно, алготрейдинг по своей сути не может быть попсовым, тут нужно уметь и любить изобретать велосипеды нового поколения, иначе отвезут на "модной тачке" разве что на помойку или кладбище, не вы же за рулем)))

 
mytarmailS:

да это все понятно, и я согласен с вами но вы про продакшн говорите, но тут нету кванов, и нету людей с инфраструктурой которую делали 5 лет...  а перед тем как эту инфрастуктуру делали, были же начальные иследовния ,вот именно на этом уровне и находиться большинство, те в поиске идей, вы же говорите о продакшыне...

в моем понимании схема такая 

1) поиск рабочей идеи

 2) нахождение рабочей идеи 

 3) глубочайшее иследование этой идеи

4) делание торговой и иной инфраструктуры под эту идею (продакшн)

 

 вот вы сейчас противоставляете первый пункт четвертому  -  а ето как бы гон, понимаете мою мысль?

 

так вот для первого пункта, когда надо быстро перебрать кучу идей R это вещь, на четвертом пункте это с++ естестно 

Не верная схема, так как в алготрейдинге многие процессы переплетенны и взаимозависимы. Нельзя искать идею в отрыве от данных и глубокого понимания алгоритмов их обработки. То есть например "искать идеи" на минутных свечах валютной пары, это.... ничто"одно", на ордерлоге с российского рынка, другое, на ордерлогах с десятков ведущих мировых площадок и поставщиков макро экономических данных третье и тп. То же и с обработкой, идея и инструментарий тесно взаимосвязанны, имеет смысл инкрементный подход, но не "вакуумный", когда ищется идея как сферический конь, а реализуется она с++. Вот Вам например идея Modeling high-frequency limit order book dynamics with support vector machines как считаете, насколько удобен R, будет в имплементации? Вот попробуйте а потом расскажите. Могу лишь сказать что в статье это тоже 2+2+4 в реальности всё на порядки сложнее.

 
J.B:

 Как то работал в геймдейверской конторе годик, вспомнил об этом, так как там на предварительном собеседовании попросили написать сортировку пузырьком или более быструю, без заглядывания в интернет разумеется, я написал, мне показалось это ТЗ детским, однако потом меня просветили что 70% народа не может это сделать. Считаю это правильно, есть некоторый набор базовых алгоритмов которые должен знать как 2+2=4 специалист, в той или иной области, так как это значительно увеличивает, как минимум способность их эффективно использовать, не говоря уже что бы модифицировать и создавать более эффективные аналоги. Квант должен уметь без подглядываний написать MLP, баес, Knn, лес и тп. Это 2+2=4 для кванта.

Не хочу показаться каким то не до детективом но как то странно что такой профи как вы, да еще и работающий в квант фонде еще в этом году не знал что такое кросс-корреляция  https://www.mql5.com/ru/forum/71816

Индикатор опережения\отставания временного ряда
Индикатор опережения\отставания временного ряда
  • www.mql5.com
Индикатор опережения\отставания временного ряда.
 
J.B:

Не верная схема, так как в алготрейдинге многие процессы переплетенны и взаимозависимы. Нельзя искать идею в отрыве от данных и глубокого понимания алгоритмов их обработки. То есть например "искать идеи" на минутных свечах валютной пары, это.... ничто"одно", на ордерлоге с российского рынка, другое, на ордерлогах с десятков ведущих мировых площадок и поставщиков макро экономических данных третье и тп. То же и с обработкой, идея и инструментарий тесно взаимосвязанны, имеет смысл инкрементный подход, но не "вакуумный", когда ищется идея как сферический конь, а реализуется она с++. Вот Вам например идея Modeling high-frequency limit order book dynamics with support vector machines как считаете, насколько удобен R, будет в имплементации? Вот попробуйте а потом расскажите. Могу лишь сказать что в статье это тоже 2+2+4 в реальности всё на порядки сложнее.

про хфт согласен, но не пойму почему вы его вечно ставите в пример, вы же не можете не знать что никому такие даты не доступны, ниукого из здесь присудствующих нет денег на покупку ордергологов с запада и быстрых каналов

Зачем вообще об этом говорить и ставить в пример 

 
mytarmailS:

Не хочу показаться каким то не до детективом но как то странно что такой профи как вы, да еще и работающий в квант фонде еще в этом году не знал что такое кросс-корреляция  https://www.mql5.com/ru/forum/71816

Да ну бросьте... Я тогда решал довольно комплексную задачу, причем сидел дома, болел, спрашивать коллег было не удобно, я месяц как устроился на работу, потом сам догадался, а через некоторое время ув. Комбинатор назвал точно такое же решение. Другой вопрос если бы перед Вами стала такая задача, Вы бы её наверняка не решили, так как тут нужно знать как реализуется кроскорреляция между рядами на низком уровне и догадаться как это использовать, в R такой функции нет "отставание ряда", а самое главное что Вы бы такую задачу просто не поставили))) Поэтому Вы не квант в хедж фонде.

 

СанСаныч Фоменко:


Пропагандируя язык R, как средство эффективного решения задач трейдинга, Вы постоянно упоминаете легкость использования его инструментария и широкий диапазон его возможностей. С этим никто не спорит. Однако, из Ваших высказываний отчетливо проступает незнание принципов работы этого языка.

Конечно, Вы отлично ориентируетесь в наименованиях его функций, и знаете, какие из них нужны для решения Ваших задач, но очевидно, что при этом Вы совершенно не разбираетесь в скрытых за наименованиями механизмов. Вы не знаете как они работают. Более того, - Вы сами не хотите это знать и других отговариваете.

Вы - пользователь языка R.   Этот инструмент нравится Вам за легкость использования, а не за эффективность решения конкретных задач, о которой Вы ничего не знаете и знать не стремитесь.

Поймите, разработчик отличается от пользователя именно стремлением разобраться в механизме и достигнуть максимальной эффективности его работы.

Эта цель может быть достигнута только при абсолютном знании предмета.   Легкость создания чего либо здесь не актуальна.

Фактически, Вы предлагаете разработчикам забыть об их работе и стать простыми пользователями. Наслаждаться  легкостью использования предоставляемых инструментов и совершенно забыть об исследовании принципов их работы.

При таком подходе, об эффективности можно забыть, а разработчики забыть об этом не могут.

Если же начать разбираться в работе завуалированных в R механизмов, то может открыться, что они не такие уж и совершенные, как может казаться воодушевленному дилетанту.

Этим постом я пытаюсь сформулировать оппонирующую Вам точку зрения, но в отношении других могу ошибаться. Однако, именно так эту проблему вижу я.

 
mytarmailS:

про хфт согласен, но не пойму почему вы его вечно ставите в пример, вы же не можете не знать что никому такие даты не доступны, ниукого из здесь присудствующих нет денег на покупку ордергологов с запада и быстрых каналов

Зачем вообще об этом говорить и ставить в пример 

Не обобщайте. Начать можно с ОЛ росийского рынка. А ХФТ, так как оно только и работает. ХФТ и инсайд.
 
J.B:

Да ну бросьте... Я тогда решал довольно комплексную задачу, причем сидел дома, болел, спрашивать коллег было не удобно, я месяц как устроился на работу, потом сам догадался, а через некоторое время ув. Комбинатор назвал точно такое же решение. Другой вопрос если бы перед Вами стала такая задача, Вы бы её наверняка не решили, так как тут нужно знать как реализуется кроскорреляция между рядами на низком уровне и догадаться как это использовать, в R такой функции нет "отставание ряда", а самое главное что Вы бы такую задачу просто не поставили))) Поэтому Вы не квант в хедж фонде.

да ладно, не такой уж я тупой как вы думаете, заметьте слово кросс корреляция сказал я, в вашей ветке оно не встречалось но именно это вы и сделали, когда я впервые узнал про кросс корреляцию то мне пришла именно та же идея что и вам про сравнение рядов(так что вы не одиноки и не уникальны в этом) и это было за долго  до вашей ветки, но что то руки так не дошли до реализации у меня...

J.B:
Не обобщайте. Начать можно с ОЛ росийского рынка. А ХФТ, так как оно только и работает. ХФТ и инсайд.

 может вы и правы.... но мне кажется что те доступные ОЛ пишутся на более быстрых скоростях чем дает плаза, и получиться что тестировал на одном а реальность будет другая, может я и ошибаюсь  но такое впечатление создалось

Причина обращения: