Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2627

 
mytarmailS #:
Круто.. 
А теперь посчитай своим методом важность для рыночных данных, с 500к строк и 1000 признаков..

Через 20 лет расскажешь что там посчитало у тебя
Тест на малых данных показывает, что быстрые методы плохо работают.
Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.

Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.

 
mytarmailS #:
Не проснулся ещё?))
Если понять что важность признаков сильно плавает,  то нет смысла в кросвалидации,  так и написано,  что не понятного то
Проснулся)
Не согласен.
Кросс валидация - это возможность выбросить модель, которая случайно оказалась удачной на одном куске истории. Проверка её на нескольких участках истории, может показать, что там она не будет работать.
Как раз кросс валидация и показывает, что признаки и модель - плавают.
Вам это "плавание" показывает другой метод, мне кросс валидация.
 
Сам я использую не чистую кроссвалидацию, а валкинг форвард. Т.е. не по кругу, а смещения только вперед.
 
elibrarius #:
Тест на малых данных показывает, что быстрые методы плохо работают.
Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.

Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.

А если я хочу создать нейрону которая генерирует на выходе качественные признаки?
Уверен тебе такое даже в голову не приходило,  но ты уже все выводы за меня сделал
 
mytarmailS #:
А если я хочу создать нейрону которая генерирует на выходе качественные признаки?
Уверен тебе такое даже в голову не приходило,  но ты уже все выводы за меня сделал
Не приходило. Выводы делаю только после проведения собственных экспериментов. Успехов в ваших экспериментах.
По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха. Мои эксперименты - показывают, что это работающий метод, по отсеву плохих моделей/идей.
 
elibrarius #:

По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха
Тем что признаки плавают,  это все подгонка под трейн/тест,  валидация будет другая
 
mytarmailS #:
Тем что признаки плавают,  это все подгонка под трейн/тест,  валидация будет другая
Какая же это подгонка? Все наоборот. Это способ отсева случайно успешных участков теста.
Какую валидацию вы предлагаете?
[Удален]  
mytarmailS #:

рекомендация всплыла на медиуме на твою тему, может пригодится, не вникал

меня такой подход заинтересовал тем, что модельки обученные можно легко в терминал переносить (вроде бы)

https://medium.com/@james_laidler/generating-a-rules-based-system-using-iguanas-762843dd1418

Generating a Rules-Based System using Iguanas
Generating a Rules-Based System using Iguanas
  • James
  • medium.com
Full instructions on how to install Iguanas can be found in the Github repo. However, it should just be a case of running: Example — Titanic data set Now we’ll see how Iguanas can be utilised to create a Rules-Based System using the famous Titanic data set, which is available from Kaggle to download. Note that I won’t go into details on the...
 
Maxim Dmitrievsky #:

рекомендация всплыла на медиуме на твою тему, может пригодится, не вникал

меня такой подход заинтересовал тем, что модельки обученные можно легко в терминал переносить (вроде бы)

https://medium.com/@james_laidler/generating-a-rules-based-system-using-iguanas-762843dd1418

Как я понял, там ищутся (с помощью оптимизации с проверкой по кросс валидации) хорошие ветки дерева (или пути до некоторых листьев). Например такой путь

(X['Age']>-0.125)&(X['Embarked_C']==True)

И потом все эти пути подаются как признаки в новую модель. Но это не готовая модель для переноса в терминал - это готовые признаки для обучения.
 
mytarmailS #:

Важность признаков в скользящем окне (индикаторы и цены)

В каокй то момент признак может быть важен на 10% а другой момент на 0,05% , вот такая правда жизни)

Тот кто тут топит за кросвалидацию думая что она что то решает , пора краснеть, пора..


Вот так выглядят 4 признака Ирисов Фишера


Ну или так если увеличить скользящее окно


Во, наконец-то.

Плевать на модели, брать надо самые быстрые и простые, прекрасная модель RF.

Главная проблема в признаках-предикторах. Показанные Вами - это просто барахло. Надо искать такие, у которых предсказательная способность слабо меняется при движении окна, хотя бы канале 10%. Если не можешь найти признаки со слабой изменчивостью, то целевая барахло. Надо искать другую целевую. И так годами.


PS.

Как-то выкладывал аналогичный результат по изменчивости моих признаков но в табличной форме. Часто встречаются такие, у которых sd > 100%. Но можно довольно быстро найти такие, у которых sd < 20%.