Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2312

[Aleksei Kuznetsov]

Спасибо, буду разбираться

[[Удален]]

elibrarius:

Спасибо, буду разбираться

тут вроде. Признаки умножаются на коэффициенты векторов

потом на компонентах лес обучается

for(int s=0; s<this.bestfeatures_num; s++) {
     for(int i=0;i<RDFpolicyMatrix.Size();i++) {
       double feach = 0;
       for(int f=0;f<this.features;f++)
         {
          feach+=RDFpolicyMatrix[i][f]*LDAmatrix[f][s];
         }
        RDFpolicyMatrix2[i].Set(s,feach);
        RDFpolicyMatrix2[i].Set(bestfeatures_num,RDFpolicyMatrix[i][this.features]);
        RDFpolicyMatrix2[i].Set(bestfeatures_num+1,RDFpolicyMatrix[i][this.features+1]);
       }
    }

[cemal]

У Людвига есть модели глубокого обучения без необходимости писать код, для обучения модели не требуются навыки программирования:https://ludwig-ai.github.io/ludwig-docs/

[Aleksei Kuznetsov]

Maxim Dmitrievsky:

тут вроде. Признаки умножаются на коэффициенты векторов

for(int s=0; s<this.bestfeatures_num; s++) {
     for(int i=0;i<RDFpolicyMatrix.Size();i++) {
       double feach = 0;
       for(int f=0;f<this.features;f++)
         {
          feach+=RDFpolicyMatrix[i][f]*LDAmatrix[f][s];
         }
        RDFpolicyMatrix2[i].Set(s,feach);
        RDFpolicyMatrix2[i].Set(bestfeatures_num,RDFpolicyMatrix[i][this.features]);
        RDFpolicyMatrix2[i].Set(bestfeatures_num+1,RDFpolicyMatrix[i][this.features+1]);
       }
    }

потом на компонентах лес обучается

1) Не совсем понятен смысл. Вместо 100 столбцов исходных данных, подали 100 столбцов главных компонент, в которых потеряна часть информации.
Надо бы вместо 100 исходных подать 10-20 главных компонент, тогда потеря информации компенсируется скоростью обучения.

2) Так и не придумал, как из 100 столбцов на 1000 строк сделать 10 столбцов на 1000 строк ГК.
Нужно из первых 10 компонент сгенерировать 1000 строк. Матрица с компонентами будет 100х100.

[mytarmailS]

elibrarius:

1) Не совсем понятен смысл. Вместо 100 столбцов исходных данных, подали 100 столбцов главных компонент, в которых потеряна часть информации.
Надо бы вместо 100 исходных подать 10-20 главных компонент, тогда потеря информации компенсируется скоростью обучения.

))))

Если из ста признаков делается сто компонент то процент потери информации  0.0%

теорию подучил бы, что ли ))

[Aleksei Kuznetsov]

mytarmailS:

))))

Если из ста признаков делается сто компонент то процент потери информации  0.0%

теорию подучил бы, что ли ))

По теории пожалуй так.
Но все равно, смысл действа? Если в скорости нет выигрыша, а скорее замедление, на лишнюю операцию.
Надо получить 10 из 100. Есть решение?

[mytarmailS]

elibrarius:
По теории пожалуй так.
Но все равно, смысл действа?

Тут не поспоришь, смысла нет...

elibrarius:
Надо получить 10 из 100. Есть решение?

Я не знаю как в алглиб там все устроено, попробуй  вытащить инфу из функции рса и посмотреть сколько компонент нужно чтобы достаточно описать 100 призаков

Или просто взять первые n столбцов рса и париться...

Но все это бес толку... если у тебя 50к признаков, то рса тебе просто необходим, а если ты хочешь поиграться толком не понимая что делаешь, то тебе рса не надо вообще, результат будет хуже чем без рса с вероятностью 99.999...%   ну ты понял..

[[Удален]]

elibrarius:
По теории пожалуй так.
Но все равно, смысл действа? Если в скорости нет выигрыша, а скорее замедление, на лишнюю операцию.
Надо получить 10 из 100. Есть решение?

взять 1-е 10 компонент ков. матрицы

[Aleksei Kuznetsov]

Maxim Dmitrievsky:

взять 1-е 10 компонент ков. матрицы

Из матрицы не пойдет - она 100х100.

А надо из  нее не 10х10 или 10х100, а путем неких расчетов получить 10х1000. Т.е. для каждой из 1000 строк применить 10 ГК

[[Удален]]

elibrarius:

Из матрицы не пойдет - она 100х100.

А надо из  нее не 10х10 или 10х100, а путем неких расчетов получить 10х1000. Т.е. для каждой из 1000 строк применить 10 ГК

каждая точка компоненты - это сумма произведений значений признаков на их ков. знач., насколько помню

посчитайте да сравните со sklearn

матрица может оказаться перевернутой, тогда с конца. Это надо дополнительно проверять там