Обсуждение статьи "Исследование сезонных характеристик финансовых временных рядов при помощи диаграмм Boxplot" - страница 30

 
Aleksey Nikolayev:

Не так. Если к выборкам прибавить какие-либо числа (или умножить), то медианы изменятся соответственно, а коэффициент корреляции не поменяется.

Тогда вообще ничего не понимаю, зачем это. не дано
 
Maxim Dmitrievsky:
Тогда вообще ничего не понимаю, зачем это. не дано

Нужно просто немного проникнуться понятиями об условном и безусловном распределениях. При их несовпадении появляется возможность прогнозировать одну случайную величину по значению другой.

 
Aleksey Nikolayev:

Нужно просто немного проникнуться понятиями об условном и безусловном распределениях. При их несовпадении появляется возможность прогнозировать одну случайную величину по значению другой.

Вроде как там корреляции и не должно быть, приращения зависят от предыдущих часов, которые для непересекающихся выборок совершенно по разному распределены. Иначе это была бы очень сильная закономерность, наверное. Как вариант, нелинейную поискать.
 

Вот следующий шаг в исследовании с помощью OLAP. Оценивалась ковариация 2-х смежных баров в разбивке по часам суток.

Данные EURUSD за 2019 год, таймфреймы H1 и M15:

OLAPQTS (EURUSD,H1)     Bars read: 137206
OLAPQTS (EURUSD,H1)     Filters: FilterSelector<QUOTE_RECORD_FIELDS>(FIELD_DATETIME)[1546300800.0 ... 1577836800.0];
OLAPQTS (EURUSD,H1)     Selectors: 1
OLAPQTS (EURUSD,H1)     Processed records: 5958
OLAPQTS (EURUSD,H1)     ProfitFactorAggregator<QUOTE_RECORD_FIELDS> FIELD_CUSTOM1 [24]
OLAPQTS (EURUSD,H1)     X: DayHourSelector<QUOTE_RECORD_FIELDS>(FIELD_DATETIME) [24]
OLAPQTS (EURUSD,H1)          [value] [title]
OLAPQTS (EURUSD,H1)     [ 0] 1.76350 "2"    
OLAPQTS (EURUSD,H1)     [ 1] 1.66279 "17"   
OLAPQTS (EURUSD,H1)     [ 2] 1.38255 "18"   
OLAPQTS (EURUSD,H1)     [ 3] 1.18235 "14"   
OLAPQTS (EURUSD,H1)     [ 4] 1.13689 "11"   
OLAPQTS (EURUSD,H1)     [ 5] 1.13528 "7"    
OLAPQTS (EURUSD,H1)     [ 6] 1.09896 "0"    
OLAPQTS (EURUSD,H1)     [ 7] 1.08717 "15"   
OLAPQTS (EURUSD,H1)     [ 8] 1.02414 "12"   
OLAPQTS (EURUSD,H1)     [ 9] 0.94678 "19"   
OLAPQTS (EURUSD,H1)     [10] 0.93321 "3"    
OLAPQTS (EURUSD,H1)     [11] 0.91988 "6"    
OLAPQTS (EURUSD,H1)     [12] 0.87820 "20"   
OLAPQTS (EURUSD,H1)     [13] 0.86920 "21"   
OLAPQTS (EURUSD,H1)     [14] 0.84253 "4"    
OLAPQTS (EURUSD,H1)     [15] 0.76796 "8"    
OLAPQTS (EURUSD,H1)     [16] 0.76243 "9"    
OLAPQTS (EURUSD,H1)     [17] 0.72190 "5"    
OLAPQTS (EURUSD,H1)     [18] 0.63495 "13"   
OLAPQTS (EURUSD,H1)     [19] 0.62381 "10"   
OLAPQTS (EURUSD,H1)     [20] 0.58573 "16"   
OLAPQTS (EURUSD,H1)     [21] 0.42907 "22"   
OLAPQTS (EURUSD,H1)     [22] 0.37804 "23"   
OLAPQTS (EURUSD,H1)     [23] 0.34422 "1"    
OLAPQTS (EURUSD,M15)    Bars read: 526080
OLAPQTS (EURUSD,M15)    Filters: FilterSelector<QUOTE_RECORD_FIELDS>(FIELD_DATETIME)[1546300800.0 ... 1577836800.0];
OLAPQTS (EURUSD,M15)    Selectors: 1
OLAPQTS (EURUSD,M15)    Processed records: 23831
OLAPQTS (EURUSD,M15)    ProfitFactorAggregator<QUOTE_RECORD_FIELDS> FIELD_CUSTOM1 [24]
OLAPQTS (EURUSD,M15)    X: DayHourSelector<QUOTE_RECORD_FIELDS>(FIELD_DATETIME) [24]
OLAPQTS (EURUSD,M15)         [value] [title]
OLAPQTS (EURUSD,M15)    [ 0] 1.39463 "0"    
OLAPQTS (EURUSD,M15)    [ 1] 1.35711 "16"   
OLAPQTS (EURUSD,M15)    [ 2] 1.23327 "7"    
OLAPQTS (EURUSD,M15)    [ 3] 1.17403 "11"   
OLAPQTS (EURUSD,M15)    [ 4] 1.11581 "3"    
OLAPQTS (EURUSD,M15)    [ 5] 1.00457 "19"   
OLAPQTS (EURUSD,M15)    [ 6] 0.96975 "9"    
OLAPQTS (EURUSD,M15)    [ 7] 0.96723 "18"   
OLAPQTS (EURUSD,M15)    [ 8] 0.96129 "14"   
OLAPQTS (EURUSD,M15)    [ 9] 0.96037 "13"   
OLAPQTS (EURUSD,M15)    [10] 0.93684 "2"    
OLAPQTS (EURUSD,M15)    [11] 0.93045 "10"   
OLAPQTS (EURUSD,M15)    [12] 0.89618 "15"   
OLAPQTS (EURUSD,M15)    [13] 0.87404 "6"    
OLAPQTS (EURUSD,M15)    [14] 0.85640 "20"   
OLAPQTS (EURUSD,M15)    [15] 0.85201 "12"   
OLAPQTS (EURUSD,M15)    [16] 0.84614 "4"    
OLAPQTS (EURUSD,M15)    [17] 0.83936 "5"    
OLAPQTS (EURUSD,M15)    [18] 0.82625 "21"   
OLAPQTS (EURUSD,M15)    [19] 0.81286 "23"   
OLAPQTS (EURUSD,M15)    [20] 0.81071 "17"   
OLAPQTS (EURUSD,M15)    [21] 0.74142 "1"    
OLAPQTS (EURUSD,M15)    [22] 0.73999 "8"    
OLAPQTS (EURUSD,M15)    [23] 0.72040 "22"  

Рассчитывался, как и ранее, агрегатор условный профит-фактор. Там где два бара в одном направлении, произведение положительное и ПФ > 1, там где бары разнонаправленные, произведение отрицательное и ПФ < 1. Сортировка по значению ПФ, чтобы легче видеть часы, оптимальные для торговли в продолжение предыдущего бара и на разворот.

 
Stanislav Korotky:

Вот следующий шаг в исследовании с помощью OLAP. Оценивалась ковариация 2-х смежных баров в разбивке по часам суток.

Данные EURUSD за 2019 год, таймфреймы H1 и M15:

Рассчитывался, как и ранее, агрегатор условный профит-фактор. Там где два бара в одном направлении, произведение положительное и ПФ > 1, там где бары разнонаправленные, произведение отрицательное и ПФ < 1. Сортировка по значению ПФ, чтобы легче видеть часы, оптимальные для торговли в продолжение предыдущего бара и на разворот.

Иногда корреляции идут группами, пример за 5 последние лет

отсев по корреляции >0.9

вот эта группа 0-4 часов неизменно крутая, потом есть группки на европейской сессии по 2-3 часа подряд. На американской, обычно, все плохо

Мозг отказывается работать перед НГ, не пойму как сделать годную визуальную стат проверку прогнозирующей способности этих явлений, чтобы по красоте


 
Maxim Dmitrievsky:

Мозг отказывается работать перед НГ, не пойму как сделать годную визуальную стат проверку прогнозирующей способности этих явлений, чтобы по красоте

Прогнозирующий - значит только в одну сторону: от прошлого к будущему. Соответственно, вопрос, можно ли в расчете корреляции учитывать только произведения отсчетов для индексов по условию i > j? Визуализировать так же.

 
Stanislav Korotky:

Прогнозирующий - значит только в одну сторону: от прошлого к будущему. Соответственно, вопрос, можно ли в расчете корреляции учитывать только произведения отсчетов для индексов по условию i > j? Визуализировать так же.

А есть идеи что из этого в 3D можно визуализировать? хотел, заодно, на питоне эту фишку освоить. Там можно крутить-вертеть уаще красиво. Потом, кто захочет, на 3D mql канвас переделает, удачи ему ))

По типу есть боксплоты, график поворачиваешь а у них сбоку торчат другие боксплоты ))

 

Проверил тезис ув. оппонентов о том, что корреляция на пересекающихся выборках врет.

Собственно, не спецом проверил, а продолжил стат исследование по задуманному плану, проверка - как следствие

Приращения с лагом 24ч. (сутки), смотрим корреляцию часов >0.9

Возьмем по паре интервалов с высокой и низкой корреляцией, предскажем следующий close и сравним с факт. close

Для хорошо коррелирующих часов:

0-1

2-3

Для плохо коррелирующих часов:

16-17

22-23

Логику еще перепроверю, но, вроде бы, зависимость прямая, хоть корреляция чистых предсказаний и выглядит похуже чем просто корреляция приращений (возможно, из-за погрешностей самой корреляции)

 
Maxim Dmitrievsky:

Проверил тезис ув. оппонентов о том, что корреляция на пересекающихся выборках врет.

Она не врет, она по-определению будет большая для пересекающихся выборок. Смысла в ней нет, т.к. величина предсказываемого приращения поглощается длинным общим участком и не несет информации.

Если сравниваются одночасовые приращения (фактически на одном баре, без пересечений) с шагом 24 часа, то имеем оценку суточных колебаний. Получаем примерно то же, что и в статье - некоторые боксплоты/часы демонстрируют статистическую возможность торговли.

 
Stanislav Korotky:

Она не врет, она по-определению будет большая для пересекающихся выборок. Смысла в ней нет, т.к. величина предсказываемого приращения поглощается длинным общим участком и не несет информации.

Если сравниваются одночасовые приращения (фактически на одном баре, без пересечений) с шагом 24 часа, то имеем оценку суточных колебаний. Получаем примерно то же, что и в статье - некоторые боксплоты/часы демонстрируют статистическую возможность торговли.

Ок, уговорили )) сначала проверю ботом то, что нафиговертил, затем посмотрю в сторону непересекающихся

факт в том, что она далеко не всегда большая для пересекающихся выборок, и показывает ровно те кластеры, которые я раньше через боксплоты нашел, только вид сбоку

Причина обращения: