Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1691

 

В Dence есть такой параметр Dropout.
Описание:
Dropout consists in randomly setting a fraction rate of input units to 0 at each update during training time, which helps prevent overfitting.

Смысл не очень понимаю, но похоже это какая то борьба с переобучением. Так вот при его увеличении растет качество обучения. Но если увеличивать больше 0.5 TensorFlow начинает ругаться:
WARNING:tensorflow:Large dropout rate: Please ensure that this is intended.

А именно после 0.5 самое качество начинается.

Кто то понимает почему так и вообще что это?

 
Evgeny Dyuka:

В Dence есть такой параметр Dropout.
Описание:
Dropout consists in randomly setting a fraction rate of input units to 0 at each update during training time, which helps prevent overfitting.

Смысл не очень понимаю, но похоже это какая то борьба с переобучением. Так вот при его увеличении растет качество обучения. Но если увеличивать больше 0.5 TensorFlow начинает ругаться:
WARNING:tensorflow:Large dropout rate: Please ensure that this is intended.

А именно после 0.5 самое качество начинается.

Кто то понимает почему так и вообще что это?

Я далеко не эксперт по нейронкам,  но   Dropout это вид регуляризации,  те да, это для борьбы с переобучением, при обучении нейронки часть нейронов обнуляеться (убиваеться) , это делается для того чтобы нейронка лучше обобщала и не концентрировала много информации в одном нейроне .  Наверное 0,5  это максимальный порог количества нейронов для обнуления

 
Igor Makanu:

сомневаюсь, что сможете подтвердить эту "аксиому" - я знаю, что это на каждом "заборе написано"

Не читаю заборы давно уже. ММ это своего рода "косметика", реальные соотношения прибыль\риск он не может вывести в плюс из минуса, но может создать такую иллюзию на бэктесте. 

Конечно разобрать все возможные варианты как мм может обмануть трейдера не реально, в ряд ли это кто делал даже в самых крутых организациях. Но на примере мартина это легко показать, хотя наверно тоже не всем.

Возьмём например 2ТС с одинаковой серией рандомных входов, одинаковыми ТП\СЛ, но у первой лот константный, а вторая если предыдущая сделка лосёвая - удваиваемся.

Вот один из случайных примеров.

Как видно, из какшек создана иллюзия проффитности, у первой ASR <0 а у второй ASR >3 чудеса!

 
Кеша Рутов:

Не читаю заборы давно уже. ММ это своего рода "косметика", реальные соотношения прибыль\риск он не может вывести в плюс из минуса, но может создать такую иллюзию на бэктесте. 

Конечно разобрать все возможные варианты как мм может обмануть трейдера не реально, в ряд ли это кто делал даже в самых крутых организациях. Но на примере мартина это легко показать, хотя наверно тоже не всем.

Возьмём например 2ТС с одинаковой серией рандомных входов, одинаковыми ТП\СЛ, но у первой лот константный, а вторая если предыдущая сделка лосёвая - удваиваемся.

Вот один из случайных примеров.

Как видно, из какшек создана иллюзия проффитности, у первой ASR <0 а у второй ASR >3 чудеса!

да понятно это все, так сказать пройдено и не раз

 
Кеша Рутов:

Не читаю заборы давно уже. ММ это своего рода "косметика", реальные соотношения прибыль\риск он не может вывести в плюс из минуса, но может создать такую иллюзию на бэктесте. 

Конечно разобрать все возможные варианты как мм может обмануть трейдера не реально, в ряд ли это кто делал даже в самых крутых организациях. Но на примере мартина это легко показать, хотя наверно тоже не всем.

Возьмём например 2ТС с одинаковой серией рандомных входов, одинаковыми ТП\СЛ, но у первой лот константный, а вторая если предыдущая сделка лосёвая - удваиваемся.

Вот один из случайных примеров.

Как видно, из какшек создана иллюзия проффитности, у первой ASR <0 а у второй ASR >3 чудеса!

чудеса в самом конце

потому и лавина

лавина сделана не из какашек, а из ориентира на неумение производить теханализ, т.е. упор на рандомайзность движения цены
 
mytarmailS:

Я далеко не эксперт по нейронкам,  но   Dropout это вид регуляризации,  те да, это для борьбы с переобучением, при обучении нейронки часть нейронов обнуляеться (убиваеться) , это делается для того чтобы нейронка лучше обобщала и не концентрировала много информации в одном нейроне .  Наверное 0,5  это максимальный порог количества нейронов для обнуления

Ok, понял. Получается, что если хорошо работает при dropout больше 0.5 значит в векторе много лишнего.
 
Igor Makanu:

да понятно это все, так сказать пройдено и не раз

Ну так а чеж спорите?

Это азбука, если попробуете устроиться в банк или хеджфонд и скажите что оптимизируете стратегии через бэктестер, да ещё и со всеми потрохами(мм, исполнением и тд.) это будет черная метка, не возьмут после такого даже в провинциальное ДЦ.

 
Кеша Рутов:

Ну так а чеж спорите?

Это азбука, если попробуете устроиться в банк или хеджфонд и скажите что оптимизируете стратегии через бэктестер, да ещё и со всеми потрохами(мм, исполнением и тд.) это будет черная метка, не возьмут после такого даже в провинциальное ДЦ.

я не спорю, я так сказать зачинщик

ну а спорить смысл какой? Вы же своим честно заработанным профитом делиться со мной не будете? впрочем как и я не обещаю компенсировать Ваши убытки 

))))


про банки, вообще не в тему, там цели другие, но могу сказать, что деньги профукивают и банки тоже, причем регулярно ;)

провинциальные ДЦ занимаются обучением, это реально работает! зачем им торговать? - цели тож другие

ЗЫ: вспомнилась борьба с еретиками, осталось выяснить кто прав и кого жечь на костре будем ))))


UPD: настало время замечательных историй....


вот сделал тож график, ЕА сам генерирует ТС, ТС не идеальная, но имхо, с этим графиком можно работать в дальнейшем

 
Evgeny Dyuka:
Ok, понял. Получается, что если хорошо работает при dropout больше 0.5 значит в векторе много лишнего.

Ну что то типа.. Не то что лишнего, скорей просто она начинает запоминать , а не обобщать.  А тут дропаут на каждой епохе ей куяк и отрезал половину нейронов , это заставляет ее как бы распаралелевать информацию по всем нейронам(обобщать)  потому что не понятно какие нейроны будут отрезаны в следующий раз, а обучаться то дальше надо .

 
Igor Makanu:

я не спорю, я так сказать зачинщик

ну а спорить смысл какой? Вы же своим честно заработанным профитом делиться со мной не будете? впрочем как и я не обещаю компенсировать Ваши убытки 

))))


про банки, вообще не в тему, там цели другие, но могу сказать, что деньги профукивают и банки тоже, причем регулярно ;)

провинциальные ДЦ занимаются обучением, это реально работает! зачем им торговать? - цели тож другие

ЗЫ: вспомнилась борьба с еретиками, осталось выяснить кто прав и кого жечь на костре будем ))))


UPD: настало время замечательных историй....


вот сделал тож график, ЕА сам генерирует ТС, ТС не идеальная, но имхо, с этим графиком можно работать в дальнейшем

Игорь, проблема в том, что мартин в тестере и на реале - это не одно и то же.

Потому что на реале у тебя выростет риск, что делает ТС-ку красной тряпкой неминуемо ведущей к сливу.

Причина обращения: