ForumSezioni

L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 3279

Nuovo commento
Alexander Ivanov #:
e non ho paura.

E questo è vero.

Grigori.S.B #:

E giustamente.

Saranno notizie tristi dal mondo reale.

Sto cercando di trovare rapidamente stringhe brevi simili in una stringa lunga.

È possibile utilizzare Alglib in modo ottimale?

#include <Math\Alglib\statistics.mqh> // https://www.mql5.com/ru/code/11077

const vector<double> GetCorr( const CMatrixDouble &Matrix, const vector<double> &Pattern )
{
  CMatrixDouble Vector;
  CMatrixDouble Corr;
  
  Vector.Col(0, Pattern);

  CBaseStat::PearsonCorrM2(Vector, Matrix, Matrix.Rows(), 1, Matrix.Cols(), Corr);
  
  return(Corr.Row(0));
}

#property script_show_inputs

input int inRows = 300; // Длина короткой строки
input int inCols = 1000000; // Длина длинной строки

void FillArray( double &Array[], const int Amount )
{
  for (uint i = ArrayResize(Array, Amount); (bool)i--;)
    Array[i] = MathRand();
}

void FillMatrix( CMatrixDouble &Matrix, const double &Array[], const int Rows )
{
  Matrix.Resize(Rows, ArraySize(Array) + 1 - Rows);

  double ColArray[];
  vector<double> Vector;
  
  for (uint i = (uint)Matrix.Cols(); (bool)i--;)
  {
    ArrayCopy(ColArray, Array, 0, i, Rows);
    Vector.Swap(ColArray);
    
    Matrix.Col(i, Vector);
  }
}

void FillData( double &Array[], double &Pattern[], CMatrixDouble &Matrix, const int Rows, const int Cols )
{
  FillArray(Array, Cols + Rows - 1);
  FillArray(Pattern, Rows);

  FillMatrix(Matrix, Array, Rows);    
}

#define  TOSTRING(A) #A + " = " + (string)(A) + " "

// Поиск похожей строки в длинной строке.
void OnStart()
{  
  if (inRows < inCols)
  {
    PrintCPU(); // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685
    
    double Array[]; // Длинная строка, где будет искать.
    double Pattern[]; // Короткая строка, с которой будем сравнивать.
    CMatrixDouble Matrix;
    
    FillData(Array, Pattern, Matrix, inRows, inCols); // Заполнили данные.
            
    Print(TOSTRING(inRows) + TOSTRING(inCols));

    vector<double> vPattern;  
    vPattern.Assign(Pattern);

    ulong StartTime, StartMemory; // https://www.mql5.com/ru/forum/86386/page3256#comment_49538685

    BENCH(vector<double> Vector1 = GetCorr(Matrix, vPattern))
//    BENCH(vector<double> Vector2 = GetCorr(Array, Pattern))
  
//    Print(TOSTRING(IsEqual(Vector1, Vector2)));
  }      
}


Risultato.

EX5: 4000 AVX Release.
TerminalInfoString(TERMINAL_CPU_NAME) = Intel Core i7-2700 K  @ 3.50 GHz 
TerminalInfoInteger(TERMINAL_CPU_CORES) = 8 
TerminalInfoString(TERMINAL_CPU_ARCHITECTURE) = AVX 
inRows = 300 inCols = 1000000 
vector<double> Vector1 = GetCorr(Matrix, vPattern) - 6725703 mcs, 8 MB

In più di sei secondi tale implementazione tramite Alglib cerca stringhe brevi simili (300) nella milionesima stringa. NumPy può farlo?

fxsaber #:

Cercare di trovare rapidamente stringhe brevi simili in una stringa lunga.

È più ottimale utilizzare Alglib?


Risultato.

In più di otto secondi tale implementazione tramite Alglib cerca la milionesima stringa simile alla stringa breve (300). NumPy può farlo?

E come si valuta la matrice ottenuta? Non capisco il principio di tale valutazione.

Forester #:
E come valutate la matrice 300*1000000 risultante? Non capisco il principio di tale stima.

  1. Una riga per 1 000 000.
  2. Prendiamo i valori nell'intervallo [0..299] e li inseriamo nella prima colonna della matrice 300x1000000.
  3. Si prendono i valori nell'intervallo [1..300] e si mettono nella seconda colonna della matrice 300x1000000.
  4. E così via.
Viene calcolata la correlazione di questa matrice con un certo modello a 300. L'output è il milionesimo vettore dei coefficienti di Pearson corrispondenti.
fxsaber #:
Questa implementazione impiega più di sei secondi per cercare in Alglib una milionesima stringa simile a una stringa corta .

Anche io ho una media di circa 6 secondi.

Ho fatto diverse prove.

 system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.15    0.03    5.70 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.38    0.02    5.16 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.18    0.01    6.10 
> system.time({
+   find_cor(y,x)
+ })
   user  system elapsed 
   4.08    0.00    5.99

Ma l'ho fatto nel modo più consueto, non ho cercato soluzioni di scienza missilistica.

mytarmailS #:

Anch'io ho una media di circa sei secondi.

Ho fatto qualche corsa

ma l'ho fatto nel modo consueto, non ho cercato soluzioni di scienza missilistica.

Che tipo di R hai?

R di Microsoft utilizza la bibbia di Intel per vettori e matrici....

СанСаныч Фоменко #:

Qual è la tua R?

Microsoft R utilizza la bibbia Intel per vettori e matrici....

regolare...

ma ho scritto la funzione in C++ in R.

mytarmailS #:

ordinario

Mi chiedo se Microsoft R + intel = ponts o davvero più veloce?

СанСаныч Фоменко #:

Mi chiedo se Microsoft R + Intel = ponts o davvero più veloce?

Non l'ho mai provato, ma sono curioso anch'io.

Ma sono interessato a un aumento generale della velocità su qualsiasi azione, non solo su matrici e vettori.

1...327232733274327532763277327832793280328132823283328432853286...3399
Nuovo commento