Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2627

[Valeriy Yastremskiy]

elibrarius #:
Не понятно, при чем тут кросс валидация?
Данные в скользящем окне используются для каждой модели.
Кросс валидация используется для состыковки результатов обучения нескольких моделей, обученных на разных кусках данных.
Модели на данных не в скользящем окне, тоже можно обучить на разных кусках этих данных и тоже получите кросс валидацию.

ну тут мысль, что скользящее окно с одинаковой шириной задачу не решает. По хорошему надо на размерность увеличивать прогоны, на каждом шаге изменять ширину окна. Опять проклятие)))

[mytarmailS]

elibrarius #:
Не понятно, при чем тут кросс валидация?
Данные в скользящем окне используются для каждой модели.
Кросс валидация используется для состыковки результатов обучения нескольких моделей, обученных на разных кусках данных.
Модели на данных не в скользящем окне, тоже можно обучить на разных кусках этих данных и тоже получите кросс валидацию.

Не проснулся ещё?))

Если понять что важность признаков сильно плавает,  то нет смысла в кросвалидации,  так и написано,  что не понятного то

[Forester]

mytarmailS #:
Круто.. 

А теперь посчитай своим методом важность для рыночных данных, с 500к строк и 1000 признаков..

Через 20 лет расскажешь что там посчитало у тебя

Тест на малых данных показывает, что быстрые методы плохо работают.
Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.

Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.

[Forester]

mytarmailS #:
Не проснулся ещё?))

Если понять что важность признаков сильно плавает,  то нет смысла в кросвалидации,  так и написано,  что не понятного то

Проснулся)
Не согласен.
Кросс валидация - это возможность выбросить модель, которая случайно оказалась удачной на одном куске истории. Проверка её на нескольких участках истории, может показать, что там она не будет работать.
Как раз кросс валидация и показывает, что признаки и модель - плавают.
Вам это "плавание" показывает другой метод, мне кросс валидация.

[Forester]

Сам я использую не чистую кроссвалидацию, а валкинг форвард. Т.е. не по кругу, а смещения только вперед.

[mytarmailS]

elibrarius #:
Тест на малых данных показывает, что быстрые методы плохо работают.
Для чего нужна оценка важности признаков? Чтобы удалив неважные, можно было бы быстрееобучать модель в будущем, без потери качества. Это просто тюнинг уже работающих данных и модели. А ни мне, ни вам (как я полагаю) тюнинговать еще нечего.

Поэтому просто обучаю модель. Модель сама будет использовать важные и не использовать неважные.

А если я хочу создать нейрону которая генерирует на выходе качественные признаки?

Уверен тебе такое даже в голову не приходило,  но ты уже все выводы за меня сделал

[Forester]

mytarmailS #:
А если я хочу создать нейрону которая генерирует на выходе качественные признаки?

Уверен тебе такое даже в голову не приходило,  но ты уже все выводы за меня сделал

Не приходило. Выводы делаю только после проведения собственных экспериментов. Успехов в ваших экспериментах.
По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха. Мои эксперименты - показывают, что это работающий метод, по отсеву плохих моделей/идей.

[mytarmailS]

elibrarius #:

По кросс валидации (валкинг форварду) так и не пояснили, чем она плоха

Тем что признаки плавают,  это все подгонка под трейн/тест,  валидация будет другая

[Forester]

mytarmailS #:
Тем что признаки плавают,  это все подгонка под трейн/тест,  валидация будет другая

Какая же это подгонка? Все наоборот. Это способ отсева случайно успешных участков теста.
Какую валидацию вы предлагаете?

[Maxim Dmitrievsky]

mytarmailS #:

рекомендация всплыла на медиуме на твою тему, может пригодится, не вникал

меня такой подход заинтересовал тем, что модельки обученные можно легко в терминал переносить (вроде бы)

https://medium.com/@james_laidler/generating-a-rules-based-system-using-iguanas-762843dd1418