От теории к практике. Часть 2 - страница 117

 
secret:
Будь здесь ветка по матану, было бы интересно там потрепаться)

Так давайте заведем, делов то ))

https://www.mql5.com/ru/forum/368720
Матстат-Эконометрика-Матан
Матстат-Эконометрика-Матан
  • 2021.05.06
  • www.mql5.com
Вэлкам, всем гуру в области математической статистики, эконометрики и математического анализа...
 
Aleksei Stepanenko:

Спасибо, друг, это интересно!

Я так понял используется в основном фундаментальный анализ, поток свежих данных. Технический анализ истории графика не рассматривается особо. Правильно понял?

Скачал брошюру, читаю.

Алексей поделитесь плиз брошюрой, не победил поиск, скрибд тоже не победил, да и не люблю его с давних пор.

 
Roman:
Ну да, скажите что надо переходить на FPGA с коллокацией в бирже ))
Вы считали затраты на на такие вкусняшки? Стоимость оборудования, стоимость прямых фидов, стоимость коллокации и т.д.
Не говоря уже о стоимости специалиста по FPGA, если сам не шаришь в этой технологии.
Выливается очень! большие затраты, на содержание такой структуры.
Конечно они покрываются рынком, но начальный порог скилов и технического обеспечения очень высок.
По этому рядовые обыватели более менее понимающие где рыба, используют старые проверенные подходы.
Пусть не колоссальные прибыли, но она есть и стабильна. Суть же не в том как ты поймал рыбку, а в том, что ты её поймал.
Что касается спутниковых данных, изучал как то этот вопрос. Так вот скорость передачи этих данных ниже, чем ВОЛС(оптоволокно).
По этому спутниковые данные для HFT не годятся. По этому быстрее те, кто на короткой ноге, или в тёмном волокне. 
По поводу альтернативных данных, тоже задумывался на эту тему, но не искал подход реализации, нужно понимать что ищем и из чего.
А это уже сложная задача по анализу данных, которая требует опять же скилов и не малых. Многие ими обладают? Сомневаюсь.
Хотя на хабре есть статейка как пример, по альтернативным данным, для понимания процесса.

FPGA, оптоволокно и тп. это в сторону ultra-HFT, это направление деятельности в последнее десятилетие претерпело значительные изменения, в неблагоприятном направлении, в виду токсичности для рынков , а то что осталось плотно занято и втиснуться туда не получится, да и не интересно там, это не про данные и модели с машинным обучением, а про железо, маршрутизаторы и скорость света)) Честно говоря я даже не встречал людей которые этим занимались профессионально, там где я работал " HFT" это пару сотен сделок на инструмент в торговую сессию с закрытие м позиций н а ночь . Колокация да, это норма и не бьёт по карману , чисто технические спецы, тоже стоят не дорого, дешевле примерно в пятеро квантов, порог скилов высокий в среднем, но организаций много, супер-звёзд на всех не хватает, народ конвектирует, вслед за капитала ми фондов и соответственно размерами бонусов, по мере роста скилов, места освобождаются для менее опытных но дерзких и сообразительных .

Рядовые обыватели не знают где рыба, в том то и дело. Рядовой обыватель если он фанат этого ремесла и ему повезёт не застрять во множестве не очевидных тупиков, лет через 5-7 торговли и интенсивных следований поглощает объём информации пары университетских специальностей технических и гуманитарных , наступает на почти все грабли и набивает почти все шишки, перерождаясь в кванта. А квант тем отличается от обывателя, что верит цифрам а не своим чаяниям. Квант например не застревает в бесконечном переборе всех индикаторов, в надежде что найдется Грааль, тоже с алгоритмами машинного обучения, тоже с оптимизацией параметров в бэктестере, эти все вещи человек должен сам понять вовремя, а не ждать пока кто то официально об этом напишет в какой то книжке\статье\блоге.

Есть множество разных ловушек, при сборе, подготовке данных и анализе, обедняет их то, что чем более доступные данные, тем меньше в них "рыбы", ну невозможно получить хороший результат на общедоступных классических данных, таких как сами цены, а когда на них получается "акураси >60%" или Грааль с SR >3 это очевидный признак что где то ошибка в модели или торгово-аналитической системе , вероятней всего при подготовке данных, квант будет искать ошибку, обыватель планировать покупку ламбо и пофиг что такое акураси полностью расходится с бэктестом, квант поковыряется месяц два с подготовкой данных , перепробует много вариантов и найдёт ошибку, обыватель будет годами делать тоже самое не пытаясь понять почему же не выходит, а потом начнёт продавать эти "стратегии" на околорынке и вести курсы по торговле.

Альтернативные сырые данные со спутникови тд это не про HFT, точнее не про ультра HFT, там речь идёт не на микросекунды, но минуты-десятки минут, другое дело что посредники их поставляют рафинированные но уже просроченные, пользы от них не больше чем от цен. Приходится самим покупать сырец, а это очень дорого и даже договорится сможет не каждый фонд, и аналитика их тоже требует не малого труда. Например вы торгуете зерновыми фьючами, получаете снимки сельскохозяйственных полей каждый час 10-20% планеты, по ним вам нужно определить, во первых количество тех или иных культур, степень урожайности, влияния погоды на урожай и сотни прочих параметров тп. Это работа датааналитиков на человеко-год примерно, то есть примерно 150-200к $, на один поток данных, а чем больше потоков данных тем больше затраты и данные стоят такие очень не кисло, если вы вообще сможете их получать. Да, это дорого, но есть много более дешевые потоки данных, а самые интересные, это те на которые ПОКА никто не обратил внимание)))

 
J.B:

FPGA, оптоволокно и тп. это в сторону ultra-HFT, это направление деятельности в последнее десятилетие претерпело значительные изменения, в неблагоприятном направлении, в виду токсичности для рынков , а то что осталось плотно занято и втиснуться туда не получится, да и не интересно там, это не про данные и модели с машинным обучением, а про железо, маршрутизаторы и скорость света)) Честно говоря я даже не встречал людей которые этим занимались профессионально, там где я работал " HFT" это пару сотен сделок на инструмент в торговую сессию с закрытие м позиций н а ночь . Колокация да, это норма и не бьёт по карману , чисто технические спецы, тоже стоят не дорого, дешевле примерно в пятеро квантов, порог скилов высокий в среднем, но организаций много, супер-звёзд на всех не хватает, народ конвектирует, вслед за капитала ми фондов и соответственно размерами бонусов, по мере роста скилов, места освобождаются для менее опытных но дерзких и сообразительных .

Рядовые обыватели не знают где рыба, в том то и дело. Рядовой обыватель если он фанат этого ремесла и ему повезёт не застрять во множестве не очевидных тупиков, лет через 5-7 торговли и интенсивных следований поглощает объём информации пары университетских специальностей технических и гуманитарных , наступает на почти все грабли и набивает почти все шишки, перерождаясь в кванта. А квант тем отличается от обывателя, что верит цифрам а не своим чаяниям. Квант например не застревает в бесконечном переборе всех индикаторов, в надежде что найдется Грааль, тоже с алгоритмами машинного обучения, тоже с оптимизацией параметров в бэктестере, эти все вещи человек должен сам понять вовремя, а не ждать пока кто то официально об этом напишет в какой то книжке\статье\блоге.

Есть множество разных ловушек, при сборе, подготовке данных и анализе, обедняет их то, что чем более доступные данные, тем меньше в них "рыбы", ну невозможно получить хороший результат на общедоступных классических данных, таких как сами цены, а когда на них получается "акураси >60%" или Грааль с SR >3 это очевидный признак что где то ошибка в модели или торгово-аналитической системе , вероятней всего при подготовке данных, квант будет искать ошибку, обыватель планировать покупку ламбо и пофиг что такое акураси полностью расходится с бэктестом, квант поковыряется месяц два с подготовкой данных , перепробует много вариантов и найдёт ошибку, обыватель будет годами делать тоже самое не пытаясь понять почему же не выходит, а потом начнёт продавать эти "стратегии" на околорынке и вести курсы по торговле.

Альтернативные сырые данные со спутникови тд это не про HFT, точнее не про ультра HFT, там речь идёт не на микросекунды, но минуты-десятки минут, другое дело что посредники их поставляют рафинированные но уже просроченные, пользы от них не больше чем от цен. Приходится самим покупать сырец, а это очень дорого и даже договорится сможет не каждый фонд, и аналитика их тоже требует не малого труда. Например вы торгуете зерновыми фьючами, получаете снимки сельскохозяйственных полей каждый час 10-20% планеты, по ним вам нужно определить, во первых количество тех или иных культур, степень урожайности, влияния погоды на урожай и сотни прочих параметров тп. Это работа датааналитиков на человеко-год примерно, то есть примерно 150-200к $, на один поток данных, а чем больше потоков данных тем больше затраты и данные стоят такие очень не кисло, если вы вообще сможете их получать. Да, это дорого, но есть много более дешевые потоки данных, а самые интересные, это те на которые ПОКА никто не обратил внимание)))

Да...помню одну вещь связанную с тиковой волатильностью) дело во времени моделирования выбросов при росте тиковых объемов, даже на МТ5 с "реальными" тиками выбросы происходят за 2-3 секунды, на МТ4 за полминуты минуту, и этого, даже 2-3 секунд хватает чтобы заработать около 1700000 пунктов прибыли на EURUSD за 10 лет. В реалии такие выбросы во-первых происходят за доли секунды, во вторых дикий рост спреда, в третьих постоянные реквоты. Загнав данные с реалки в тестер с помощью TickDataSuite получил из прибыли в 1700000 пунктов убыток 600000 пунктов. Поэтому пришлось применять стратегию минимально зависящую от шума рынка, расширения спреда и действующую по ценам открытия чтобы максимально совместить результаты тестера и реалки.
Используя баги в метатрейдере, точнее как бы не баги самого терминала, а скорее брокера, который даёт такие данные, просто невозможно сделать прибыльную стратегию,на прибыль которой влияют тиковые движения и размер спреда.
 
CHINGIZ MUSTAFAEV:
Да...помню одну вещь связанную с тиковой волатильностью) дело во времени моделирования выбросов при росте тиковых объемов, даже на МТ5 с "реальными" тиками выбросы происходят за 2-3 секунды, на МТ4 за полминуты минуту, и этого, даже 2-3 секунд хватает чтобы заработать около 1700000 пунктов прибыли на EURUSD за 10 лет. В реалии такие выбросы во-первых происходят за доли секунды, во вторых дикий рост спреда, в третьих постоянные реквоты. Загнав данные с реалки в тестер с помощью TickDataSuite получил из прибыли в 1700000 пунктов убыток 600000 пунктов. Поэтому пришлось применять стратегию минимально зависящую от шума рынка, расширения спреда и действующую по ценам открытия чтобы максимально совместить результаты тестера и реалки.
Используя баги в метатрейдере, точнее как бы не баги самого терминала, а скорее брокера, который даёт такие данные, просто невозможно сделать прибыльную стратегию,на прибыль которой влияют тиковые движения и размер спреда.

Такого рода "проблемы" — классика, при работе с кухнями и некачественными данными. Но какие выводы сделал бы разумный человек?

Во первых не работать с кухнями, это очевидно, такие ужасы как "реквоты", "реджекты", всякие шпильки и тому подобное — просто натуральный скам, а разумный человек в таком не участвует. Подобного рода скамные приёмы подсечь клиента, можно выдумывать сотнями, нет особого смысла накапливать такой опыт, а если Вы каким то чудом "победите" кухню, с Вами в конце концов откажутся работать. Кухня хороша только как дешевый способ знакомства с рынком вообще с нуля, за пол часа зарегался, кинул 100 баксов и торганул евробакс)) Да и то раньше так было, до введений на кухнях КИС вопросов про Ваш финансовый статус и прочих закосов под "настоящую биржу".

В о вторых опять таки — ДАННЫЕ. То что ценовым рядам что стачивается с кухонного сервака нельзя доверять, это и ежу понятно, но к сожалению данным с доверенных источников, с самих фондовых бирж и брокеров с высокой репутацией, доверять нужно с определёнными оговорками, особенно если данные обработаны, как например свечи, которые могут быть фильтрованы множеством способов, даже ордерлог п ри подаче в бэктестер нужно править с учетом разницы временных задержек, с каким лагом к Вам приходят данные и туда где писался ордерлог. А значит напрашивается сам собой вывод — данные нужно писать самому. Только самописные данные из правильных источников могут дать реалистичную картину как бы система торговала в реале.

В третьих — бэктестер, как собственно и весь торгово-аналитический комплекс в последствии . Для знакомства конечно МТ-тестер вполне годен, но рано или поздно всё же придется писать свой бэктестер, это кстати совсем не сложно, но очень полезно для разминки мозгов и ценится на собеседовании, если вы нацелились куда то по круче "ДЦ в вашем районе". При бэктестировании и торговле не должно быть каких то сюрпризов, вы четко на уровне элементарной математики должны понимать что как происходит и если всё учтено, сбои могут только возникнуть из за жестких форсмажоров, всяких "вскипаний рынка" когда биржа ложится и тп. Но не из за данных и не дай Бог скама вроде реквот\реджектов.

 
J.B:

Такого рода "проблемы" — классика, при работе с кухнями и некачественными данными. Но какие выводы сделал бы разумный человек?

Во первых не работать с кухнями, это очевидно, такие ужасы как "реквоты", "реджекты", всякие шпильки и тому подобное — просто натуральный скам, а разумный человек в таком не участвует. Подобного рода скамные приёмы подсечь клиента, можно выдумывать сотнями, нет особого смысла накапливать такой опыт, а если Вы каким то чудом "победите" кухню, с Вами в конце концов откажутся работать. Кухня хороша только как дешевый способ знакомства с рынком вообще с нуля, за пол часа зарегался, кинул 100 баксов и торганул евробакс)) Да и то раньше так было, до введений на кухнях КИС вопросов про Ваш финансовый статус и прочих закосов под "настоящую биржу".

В о вторых опять таки — ДАННЫЕ. То что ценовым рядам что стачивается с кухонного сервака нельзя доверять, это и ежу понятно, но к сожалению данным с доверенных источников, с самих фондовых бирж и брокеров с высокой репутацией, доверять нужно с определёнными оговорками, особенно если данные обработаны, как например свечи, которые могут быть фильтрованы множеством способов, даже ордерлог п ри подаче в бэктестер нужно править с учетом разницы временных задержек, с каким лагом к Вам приходят данные и туда где писался ордерлог. А значит напрашивается сам собой вывод — данные нужно писать самому. Только самописные данные из правильных источников могут дать реалистичную картину как бы система торговала в реале.

В третьих — бэктестер, как собственно и весь торгово-аналитический комплекс в последствии . Для знакомства конечно МТ-тестер вполне годен, но рано или поздно всё же придется писать свой бэктестер, это кстати совсем не сложно, но очень полезно для разминки мозгов и ценится на собеседовании, если вы нацелились куда то по круче "ДЦ в вашем районе". При бэктестировании и торговле не должно быть каких то сюрпризов, вы четко на уровне элементарной математики должны понимать что как происходит и если всё учтено, сбои могут только возникнуть из за жестких форсмажоров, всяких "вскипаний рынка" когда биржа ложится и тп. Но не из за данных и не дай Бог скама вроде реквот\реджектов.

Ну..так сказать и реальная биржа не защищена от отсутствия ликвидности) и это даже вполне нормально именно для реальной биржи. А то что скамят клиентов шпилькамито да... Там такое нарисовать могут что в страшном сне не приснится) да собственный бэктестер хорошая вещь, но то же самое, при определенной пряморукости можно сделать и в обычном мт4, например пересобрать сырую тиковую историю в файл пригодный для загрузки в МТ4 и все. Анализируй, тестируй сколько влезет) а общем все зависит от желания. А ДЦ кухонные сейчас везде. Даже крупные брокеры те же кухни. Зато есть  шанс разогнать деп со 100$ до 1000-2500$ конечно используя определенные статистические уловки и хитрости и вовремя выводить деньги. Правда с риском слиться 100% так как рынок форекс так устроен, у него два противоположных процесса имеет одни и те же места для входа в рынок для зарабатывания на них. Так что приходится выбирать меньшее из двух зол всегда)
 
J.B:

Например вы торгуете зерновыми фьючами, получаете снимки сельскохозяйственных полей каждый час 10-20% планеты

Можете привести ещё несколько примеров типов используемых данных. Интересно!

 
CHINGIZ MUSTAFAEV:
Ну..так сказать и реальная биржа не защищена от отсутствия ликвидности) и это даже вполне нормально именно для реальной биржи. А то что скамят клиентов шпилькамито да... Там такое нарисовать могут что в страшном сне не приснится) да собственный бэктестер хорошая вещь, но то же самое, при определенной пряморукости можно сделать и в обычном мт4, например пересобрать сырую тиковую историю в файл пригодный для загрузки в МТ4 и все. Анализируй, тестируй сколько влезет) а общем все зависит от желания. А ДЦ кухонные сейчас везде. Даже крупные брокеры те же кухни. Зато есть  шанс разогнать деп со 100$ до 1000-2500$ конечно используя определенные статистические уловки и хитрости. Правда с риском слиться 100% так как рынок форекс так устроен, у него два противоположных процесса имеют одни и те же места для входа в рынок для зарабатывания на них. Так что приходится выбирать меньшее из двух зол всегда)

Нет, не нужно выбирать из зол, познакомились с рынком, научились " разогнать деп " в игровом автомате, переходим к следующему этапу, идём на местный фондовый рынок, пишем свою первою торгово-аналитическую инфраструктуру, потом выходим на топовые европейские и американские биржи, там приспосабливаемся, ну дальше сами уже поймёте что к чему. Форекс конечно тоже есть более менее "взрослый", подростковый я бы сказал, где ECN ликвидность торгуется без скама, но туда с депо менее 100к$ лезть нет смысла. А взрослый форекс это уже институциональная тема, не для обывателя.

 
J.B:

Нет, не нужно выбирать из зол, познакомились с рынком, научились " разогнать деп " в игровом автомате, переходим к следующему этапу, идём на местный фондовый рынок, пишем свою первою торгово-аналитическую инфраструктуру, потом выходим на топовые европейские и американские биржи, там приспосабливаемся, ну дальше сами уже поймёте что к чему. Форекс конечно тоже есть более менее "взрослый", подростковый я бы сказал, где ECN ликвидность торгуется без скама, но туда с депо менее 100к$ лезть нет смысла. А взрослый форекс это уже институциональная тема, не для обывателя.

Сильно разные вещи, разогнать деп, всегда достаточно случайно, даже с учетом опыта, а вот отчеты понять не всем нужно / дано) Единственно, что доступность данных по местным организациям вроде как доступней и верней, чем по другим странам) Хотя далеко не факт, с учетом нашей специфики.

Для форекса просто нужно жить в 2х странах, что бы иметь некое представление что там с валютой местной будет)

 
Aleksei Stepanenko:

Можете привести ещё несколько примеров типов используемых данных. Интересно!

Открытые карьеры фотки. Заболеваемость / смертность по стране с разбивкой по отраслям, патенты научные и не только, градация и учет интересов физиков с соцсетей и не только для услуг. 

Градация данных по хорошему только начинается / идет, поэтому пока учебников нет. Но ИИ в разведке уже прикручивают почти все страны)

Причина обращения: