Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3255

Новый комментарий
Maxim Dmitrievsky #:
На малых ТФ переполняться память. Забивается 16 озу и файл подкачки (своп на маке) 30гиг. Ну там матрица корреляционная 50к на 50к размером, например.

Видимо, какие-то особенности Питона, т.к. на MQL алгоритм такой.

  1. Бежим по 1d-массиву Pos-переменной.
  2. [Pos-n, Pos] - очередной паттерн.
  3. Применили нечто подобное к этому паттерну и 1d-массиву.
  4. Нашли ситуации, где MathAbs(corr[i]) > 0.9.
  5. В этих местах посмотрели на m баров вперед поведение цены и усреднили.
  6. Мест найдено не мало и красивое усреднение? - сохранили данные паттерна (значения из п.2).
  7. Pos++ и на п.2.

Это лобовой вариант. С решетом еще быстрее.


Допустим один миллион баров. Длина строки 10. Тогда 1d-массив на 10 миллионов double-значений - 80 Mb. п.3. - ну пусть будет 500 Mb по расходу памяти. Что не учел?

fxsaber #:

Видимо, какие-то особенности Питона, т.к. на MQL алгоритм такой.

  1. Бежим по 1d-массиву Pos-переменной.
  2. [Pos-n, Pos] - очередной паттерн.
  3. Применили нечто подобное к этому паттерну и 1d-массиву.
  4. Нашли ситуации, где MathAbs(corr[i]) > 0.9.
  5. В этих местах посмотрели на m баров вперед поведение цены и усреднили.
  6. Мест найдено не мало и красивое усреднение? - сохранили данные паттерна (значения из п.2).
  7. Pos++ и на п.2.

Это лобовой вариант. С решетом еще быстрее.


Допустим один миллион баров. Длина строки 10. Тогда 1d-массив на 10 миллионов double-значений - 80 Mb. п.3. - ну пусть будет 500 Mb по расходу памяти. Что не учел?

Корреляция матрицы всех строк ко всем считается в разы быстрее, чем циклы (1 строка к каждой другой строке) и даже цикл (1 строка ко всем строкам). Там какое-то ускорение за счет алгоритма. Проверял на алглибовской версии расчета корреляции.
Forester #:
Корреляция матрицы всех строк ко всем считается в разы быстрее, чем циклы (1 строка к каждой другой строке) и даже цикл (1 строка ко всем строкам). Там какое-то ускорение за счет алгоритма. Проверял на алглибовской версии расчета корреляции.

Давайте код, проверим.

fxsaber #:


  2. Нашли ситуации, где MathAbs(corr[i]) > 0.9.

 MathAbs() мне кажеться лишним

[Удален]
fxsaber #:

Видимо, какие-то особенности Питона, т.к. на MQL алгоритм такой.

  1. Бежим по 1d-массиву Pos-переменной.
  2. [Pos-n, Pos] - очередной паттерн.
  3. Применили нечто подобное к этому паттерну и 1d-массиву.
  4. Нашли ситуации, где MathAbs(corr[i]) > 0.9.
  5. В этих местах посмотрели на m баров вперед поведение цены и усреднили.
  6. Мест найдено не мало и красивое усреднение? - сохранили данные паттерна (значения из п.2).
  7. Pos++ и на п.2.

Это лобовой вариант. С решетом еще быстрее.


Допустим один миллион баров. Длина строки 10. Тогда 1d-массив на 10 миллионов double-значений - 80 Mb. п.3. - ну пусть будет 500 Mb по расходу памяти. Что не учел?

сам офигел, что ни одна библиотека в питоне не может посчитать, в итоге запутался 

Пандас переполняет оперативку, оверхед гигантский 

Нампай вообще тупо вылетает и убивает сеанс интерпретатора :) не выводя никаких ошибок

Можно решетом сделать, придется весь код переписать 
fxsaber #:

Давайте код, проверим.

в statistics.mqh

функции
PearsonCorrM - Корреляция всех строк ко всем - самая быстрая.

//+------------------------------------------------------------------+
//| Pearson product-moment correlation matrix                        |
//| INPUT PARAMETERS:                                                |
//|     X   -   array[N,M], sample matrix:                           |
//|             * J-th column corresponds to J-th variable           |
//|             * I-th row corresponds to I-th observation           |
//|     N   -   N>=0, number of observations:                        |
//|             * if given, only leading N rows of X are used        |
//|             * if not given, automatically determined from input  |
//|               size                                               |
//|     M   -   M>0, number of variables:                            |
//|             * if given, only leading M columns of X are used     |
//|             * if not given, automatically determined from input  |
//|               size                                               |
//| OUTPUT PARAMETERS:                                               |
//|     C   -   array[M,M], correlation matrix (zero if N=0 or N=1)  |
//+------------------------------------------------------------------+
static bool CBaseStat::PearsonCorrM(const CMatrixDouble &cx,const int n,
                                    const int m,CMatrixDouble &c)

PearsonCorr2 - Корреляция строка к строке. Для полной матрицы: 1 строку проверяем со всеми после 1, 2-ю со всеми после 2й и т.д.

//+------------------------------------------------------------------+
//| Pearson product-moment correlation coefficient                   |
//| Input parameters:                                                |
//|     X       -   sample 1 (array indexes: [0..N-1])               |
//|     Y       -   sample 2 (array indexes: [0..N-1])               |
//|     N       -   N>=0, sample size:                               |
//|                 * if given, only N leading elements of X/Y are   |
//|                   processed                                      |
//|                 * if not given, automatically determined from    |
//|                   input sizes                                    |
//| Result:                                                          |
//|     Pearson product-moment correlation coefficient               |
//|     (zero for N=0 or N=1)                                        |
//+------------------------------------------------------------------+
static double CBaseStat::PearsonCorr2(const double &cx[],const double &cy[],
                                      const int n)



И через PearsonCorrM2 можно в 1 матрицу записать полную матрицу и в другую проверяемую строку. Так можно проверить 1 строку сразу ко всем строкам.Но тут очевидная лишняя работа, т.к. для 10-й строки корреляция со строками выше 10 уже посчитана.

static bool CBaseStat::PearsonCorrM2(const CMatrixDouble &cx,const CMatrixDouble &cy,
                                     const int n,const int m1,const int m2,
                                     CMatrixDouble &c)


Проверяйте на матрице порядка 5к*20к. Если 100*100 будет все быстро.
[Удален]
Numpy матрица 20к*20к весит 2гб
Maxim Dmitrievsky #:
Numpy матрица 20к*20к весит 2гб

400 миллионов double-чисел весят 3 гига.

mytarmailS #:

 MathAbs() мне кажеться лишним

Можно и по отдельности знаки проверять. Не суть.

[Удален]
fxsaber #:

400 миллионов double-чисел весят 3 гига.

ну понятно, памяти не хватает на всю эту радость

1...324832493250325132523253325432553256325732583259326032613262...3746
Новый комментарий