Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1035

Новый комментарий
 
Maxim Dmitrievsky:

NN это которая ваша секретная сетка? отличия большие

и фичи прямо одинаковые?

Ну да, но суть то, в другом - давайте договариваться о форматах и обмениваться информацией по МО для трейдинга, иначе не будет у нас никакого прогресса, только фолуд, в стиле слепого с немым.

PS: Фичи в обоих советниках считаются по OHLC бар, а их количество и формула расчета, идентичны.

 
Ivan Negreshniy:

Ну да, но суть то, в другом - давайте договариваться о форматах и обмениваться информацией по МО для трейдинга, иначе не будет у нас никакого прогресса, только фолуд, в стиле слепого с немым.

PS: Фичи в обоих советниках считаются по OHLC бар, а их количество и формула расчета, идентичны.

да вы джонтесь к нам в чатик, там стратегии обсуждаем и там же можно обо всем договариваться. Много разделений по темам, кому что интересно

важные или секретные темы закрыты от посторонних

 
Maxim Dmitrievsky:

про спарк давно понятно, не спрашивал. Спрашивал про идею. Этот подход со спарком как раз высосан из пальца из-за неэффективного способа обучения и требуемых мощностей

То же самое можно сделать через оптимизацию в облаке МТ5 без лесов. Насчет того что на выходе у вас получается и есть ли профит не в курсе, но по идее его нет и такой алгоритм постоянно будет падать из-за оверфита

ИМХА

Есть мнение, что построенная модель должна всегда возвращать 0 или 1.

Но что если трактовать возвращаемый результат от модели как от индикатора? Попытка оценить такую модель по MSE и т.д. ничего хорошего не даст. Но когда такую модель применяешь с параметрами покупки > 0.75 и продажи < 0.25 , то в итоге получается неплохой профит.

Сама идея: закинуть несколько данных от разных индикаторов в случайный лес и получить один супер-индикатор.

Пути поиска грааля требуют проверки нестандартных идей.

 
Roffild:

Есть мнение, что построенная модель должна всегда возвращать 0 или 1.

Но что если трактовать возвращаемый результат от модели как от индикатора? Попытка оценить такую модель по MSE и т.д. ничего хорошего не даст. Но когда такую модель применяешь с параметрами покупки > 0.75 и продажи < 0.25 , то в итоге получается неплохой профит.

Сама идея: закинуть несколько данных от разных индикаторов в случайный лес и получить один супер-индикатор.

Пути поиска грааля требуют проверки нестандартных идей.

лес не выдает вероятности принадлежности к классу, так что эти неравенства - бред

>< 0.5 и все, по другому не будет. И еще вопрос что лучше - бинаризованные признаки и выходы или нет.

можно от 0 до 100 на классы разделить, разницы никакой этож не НС
 
Maxim Dmitrievsky:

лес не выдает вероятности принадлежности к классу, так что эти неравенства - бред

>< 0.5 и все, по другому не будет. И еще вопрос что лучше - бинаризованные признаки и выходы или нет.

можно от 0 до 100 на классы разделить, разницы никакой этож не НС
Если вероятности нет, то что тогда делают эти строчки? 
static void CDForest::DFProcess(CDecisionForest &df,double &x[],double &y[])
...
//--- calculation
   v=1.0/(double)df.m_ntrees;
   for(i_=0;i_<=df.m_nclasses-1;i_++)
      y[i_]=v*y[i_];
 
Roffild:
Если вероятности нет, то что тогда делают эти строчки?

а, ну да

результатом работы всех алгоритмов классификации, входящих в пакет ALGLIB, является не класс, к которому относится объект, а вектор условных вероятностей.

но это слабое утешение. Сигналов станет меньше а результативность не факт что увеличится. У меня например не увеличивалась, везде ставлю 0.5 порог теперь

гораздо важнее сопоставимость ошибок на трэйн и oob

 
Maxim Dmitrievsky:

а, ну да

результатом работы всех алгоритмов классификации, входящих в пакет ALGLIB, является не класс, к которому относится объект, а вектор условных вероятностей.

но это слабое утешение. Сигналов станет меньше а результативность не факт что увеличится. У меня например не увеличивалась, везде ставлю 0.5 порог теперь

гораздо важнее сопоставимость ошибок на трэйн и oob

Но это уже особенности модифицированных алгоритмов.

AlgLib реализует классический случайный лес без модификации. В Spark то же самое.

Установка порога в 0.5 = адаптации данных под результат.

P.S. Даже параметры генерации случайного леса у нас разные...

 
Roffild:

Но это уже особенности модифицированных алгоритмов.

AlgLib реализует классический случайный лес без модификации. В Spark то же самое.

Установка порога в 0.5 = адаптации данных под результат.

P.S. Даже параметры генерации случайного леса у нас разные...

у меня вроде тоже алглиб )

вот описание, не знаю насколько он "классический"

http://alglib.sources.ru/dataanalysis/decisionforest.php

��� �������� ������� - ���������� ����������
  • alglib.sources.ru
��� �������� �������� ������� �������� ��������� ������������� � ��������� RDF, � ����� �������� ����������� ��� ������ � ������ �������� ������� � ������ ��� �������� �������� �����. ����� ������� ���� �������� ����������� ���������� ������ �� ����� ��������� ����������� ������� ������������� � ���������. ��� ���������� ������ ����������...
 

AlgLib  модификация обучения на разбивку выборки с помощью параметра R.

Сама интерпретация готового случайного леса в AlgLib не отличается от того же Spark.

override protected def predictRaw(features: Vector): Vector = {
    // TODO: When we add a generic Bagging class, handle transform there: SPARK-7128
    // Classifies using majority votes.
    // Ignore the tree weights since all are 1.0 for now.
    val votes = Array.fill[Double](numClasses)(0.0)
    _trees.view.foreach { tree =>
      val classCounts: Array[Double] = tree.rootNode.predictImpl(features).impurityStats.stats
      val total = classCounts.sum
      if (total != 0) {
        var i = 0
        while (i < numClasses) {
          votes(i) += classCounts(i) / total
          i += 1
        }
      }
    }
    Vectors.dense(votes)
  }
Тоже самое деление суммы предсказаний деревьев на количество этих деревьев.
 
Roffild:

Сама идея: закинуть несколько данных от разных индикаторов в случайный лес и получить один супер-индикатор.

Пути поиска грааля требуют проверки нестандартных идей.

сомнительная идея, вернее результирующий индикатор будет выдавать сомнительные результаты

есть в теории информации такое понятие как достоверность: "Достоверность — свойство информации не иметь скрытых ошибок.", а если у Вас в качестве входных данных индикаторы (Вы их предикторами называете), тогда эти данные не всегда несут достоверную информацию... и какой результат должен найти мат.аппарат?

ну а если Вы используете индикаторы для обучения, которые имеют положительное мат.ожидание в тестере стратегий, то зачем усложнять весь процесс - тестер стратегий сразу покажет результат....

вот такой замкнутый круг

по сути получается, что Вы пытаетесь взять все приборы, с приборной панели автомобиля, перепутать и потом брать их показания для расчета?... ну пусть это будет угловой скорости автомобиля - Вы же знаете, что такого прибора нет, но вот хотите найти угловую скорость и точка!!!

имхо, или использовать математически обоснованные формулы( из физики, математики, геометрии) и OHLC или все эти манипуляции еще тот самообман

1...102810291030103110321033103410351036103710381039104010411042...3493
Новый комментарий
Причина обращения: