Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2384

[Удален]
Valeriy Yastremskiy:

А что выводить хотел и как?

типа боксплотов

Maxim Dmitrievsky:

типа боксплотов

Результаты обучения или намайненные правила в боксплотах?

Maxim Dmitrievsky:

в майнинге правил не вижу ничего предосудительного

Конечно не видишь)), а если бы и видел это на меня никак не повлияло бы)

Maxim Dmitrievsky:

 я хотел сделать визуального майнера (очень быстрого) с ползунками, для поиска закономерностей

но, как обычно, пока не сделал

Пробуй, только результат будет в лучшем случае как у рендом фореста то есть никакой...


Выход фореста это сумма сработавших правил, правила никак не отфильтровываються и не отбраковываються , а бракованных там около 100% )

Правила не проходят проверки ни на повторяемость(может быть всего одно срабатывание), ни на адекватность(а дает ли оно что то) , правила просто натягиваються на данные (модель подгоняется на данные)

Те модель апроксимирует тренировочную выборку абы как с надеждой что кросс валидация затащит, но она не тащит , по объективным причинам (на рынке слишком мало важных событий)


Я попробовал другой подход, я не подгоняю модель под данные , а формирую гипотезы и проверяю их.

1) Я формирую правдоподобные(уже отфильтрованы) гипотезы в виде правил

2) Гипотезы проходят проверку на малых данных

3) Гипотезы прошедшие проверку на малых данных, проходят проверку на больших   

по факту где то из миллиона правдоподобных правил остается одно

Неподготовленому читателю сложно понять разницу между двумя подходами, но разница между ними -  пропасть

[Удален]
mytarmailS:

Конечно не видишь)), а если бы и видел это на меня никак не повлияло бы)

Пробуй, только результат будет в лучшем случае как у рендом фореста то есть никакой...


Выход фореста это сумма сработавших правил, правила никак не отфильтровываються и не отбраковываються , а бракованных там около 100% )

Правила не проходят проверки ни на повторяемость(может быть всего одно срабатывание), ни на адекватность(а дает ли оно что то) , правила просто натягиваються на данные (модель подгоняется на данные)

Те модель апроксимирует тренировочную выборку абы как с надеждой что кросс валидация затащит, но она не тащит , по объективным причинам (на рынке слишком мало важных событий)


Я попробовал другой подход, я не подгоняю модель под данные , а формирую гипотезы и проверяю их.

1) Я формирую правдоподобные(уже отфильтрованы) гипотезы в виде правил

2) Гипотезы проходят проверку на малых данных

3) Гипотезы прошедшие проверку на малых данных, проходят проверку на больших   

по факту где то из миллиона правдоподобных правил остается одно

Неподготовленому читателю сложно понять разницу между двумя подходами, но разница между ними -  пропасть

ну так покажи на примере результатов ТС

Maxim Dmitrievsky:

ну так покажи на примере результатов ТС

пока не могу , нужно намайнить хоть с 500 "грязных" правил из которых окончательную проверку пройдет 10%..

чтобы ты понимал за всю вчерашнею ночь я намайнил 2 "грязных" правила


Работаю над ускорением синтеза правил, сегодня придумал как увеличить скорость в 5 раз, код переписал, думаю еще..

[Удален]
mytarmailS:

пока не могу , нужно намайнить хоть с 500 "грязных" правил из которых окончательную проверку пройдет 10%..

чтобы ты понимал за всю вчерашнею ночь я намайнил 2 "грязных" правила

Вроде, Алексей предлагал вычислительные мощности, он любит что-нибудь долго считать, может вам сделать кооп :)

на R без векторизации все равно будет медленно. Можно через какую-нибудь быструю БД
Maxim Dmitrievsky:

Вроде, Алексей предлагал вычислительные мощности, он любит что-нибудь долго считать, может вам сделать кооп :)

на R без векторизации все равно будет медленно. Можно через какую-нибудь быструю БД

Да у меня в принципе векторизированы медленные части, саму логику алгоритма надо оптимизировать, сижу переосмыслю, уже придумал как ускорить в 5 раз, код переписал...

Еще признаков так мало, такие примитивные,с этим тоже надо что то делать , целевая мне не очень нравиться...

Ой мля... это как ремонт, эго можно только начать..

mytarmailS:

Конечно не видишь)), а если бы и видел это на меня никак не повлияло бы)

Пробуй, только результат будет в лучшем случае как у рендом фореста то есть никакой...


Выход фореста это сумма сработавших правил, правила никак не отфильтровываються и не отбраковываються , а бракованных там около 100% )

Правила не проходят проверки ни на повторяемость(может быть всего одно срабатывание), ни на адекватность(а дает ли оно что то) , правила просто натягиваються на данные (модель подгоняется на данные)

Те модель апроксимирует тренировочную выборку абы как с надеждой что кросс валидация затащит, но она не тащит , по объективным причинам (на рынке слишком мало важных событий)


Я попробовал другой подход, я не подгоняю модель под данные , а формирую гипотезы и проверяю их.

1) Я формирую правдоподобные(уже отфильтрованы) гипотезы в виде правил

2) Гипотезы проходят проверку на малых данных

3) Гипотезы прошедшие проверку на малых данных, проходят проверку на больших   

по факту где то из миллиона правдоподобных правил остается одно

Неподготовленому читателю сложно понять разницу между двумя подходами, но разница между ними -  пропасть

Какая-то философия. Ничего конкретного...
elibrarius:
Какая-то философия. Ничего конкретного...

Ну почему же, путь объявлен ранее, и все строго по намеченному. Генерируем правила и проверяем их, это не обычной подход, когда правила отбираются исходя от логики/целей задачи. Т.е. обычно правила формируются для решения изначально. Это приводит к потере не логичных, но дающих результат правил.

elibrarius:
Какая-то философия. Ничего конкретного...
  • Многие вещи нам непонятны не потому, что наши понятия слабы; но потому, что сии вещи не входят в круг наших понятий.
Valeriy Yastremskiy:

Ну почему же, путь объявлен ранее, и все строго по намеченному. Генерируем правила и проверяем их, это не обычной подход, когда правила отбираются исходя от логики/целей задачи. Т.е. обычно правила формируются для решения изначально. Это приводит к потере не логичных, но дающих результат правил.

+++