Великолепная книга о тестировании и оптимизации - страница 8

 
Mathemat писал (а) >>

нужно пообщатьтся о поводу Бернули...

 

papaklass, вот ссылка, спасибо Юре Решетову: http://bigfx.ru/load/8-1-0-4 . Вроде как не битая, только что проверил.

 

http://nfkgtu.kai.ru/download/plugin.rar - качни и поставь.

 
Reshetov писал(а) >>

Ссылка битая.


Могу поделиться небитой: http://bigfx.ru/load/8-1-0-4

спасибо за ссылку...ато письмо с форума так и не пришло о регистрации...

 

Мне кажется, что форвардный анализ (тест "out-of-sample") показывает лишь то, что Вам удалось в процессе оптимизации подогнать систему так, что на тесте "out-of-sample" она показывает положительные результаты. Основываясь на данном утверждении можно сделать вывод, один единственно верный - вероятность того, что система даст прибыль в будущем равна 50 % - либо даст, либо не даст. :)

Если хотите проверить, то проведите тест out-of-sample, и, если результаты вас устроят и вы будете думать, что нашли рабочую систему, то проведите еще один тест "out-of-sample" на удвоенном периоде. Если и этот тест вас устроит, то проведите еще один - последний. Если и он вас устроит, то Вы можете сказать, что нашли работающую систему. Только вот будет ли она работать дальше ?!?!?, чтобы это проверить нужно что?....правильно - еще один тест :)))))).

Разве не так?

 

И вот еще пришло в голову по поводу подгонки систем:

Допустим, у меня есть система и я ее подогнал под кривую таким образом, чтобы и на тестовом периоде и на тесте "out-of-sample" она давала хорошие результаты. Подгонял я ее очень просто - в оптимизаторе, задав много параметров, с очень маленьким шагом чтобы получить как можно точную подгонку. Из всех возможных подгонок, в том же оптимизаторе, с помощью форвард теста выбрался самый лучший. Радуюсь, т.к. у меня теперь есть система, правда подогнанная и вряд ли рабочая.

Сосед Вася - большой математик, подход у него другой. Он берет точно такую же систему - тестирует, высчитывает кучу показателей делает кучу тестов, все по-научному, и в конечном итоге получает ту же систему, что и я, только другими методами.

И вот теперь назревает вопрос - у кого система подогнана, а у кого нет?

И другой вопрос - как отреагирует сообщество, когда узнает как я получил свою систему? ... правильно - это подгонка чистой воды и работать не будет. А как отреагирует на Васину систему и то, как он ее получил? ... правильно - молодец Вася, ты такой умный и у тебя теперь есть рабочая система, ведь она не подогнана под кривую, а прошла все тесты и уложилась во все рамки и параметры.

И последний вопрос - у кого система действительно будет работать? У меня или у Васи?

 
autoforex писал(а) >>

Мне кажется, что форвардный анализ (тест "out-of-sample") показывает лишь то, что Вам удалось в процессе оптимизации подогнать систему так, что на тесте "out-of-sample" она показывает положительные результаты. Основываясь на данном утверждении можно сделать вывод, один единственно верный - вероятность того, что система даст прибыль в будущем равна 50 % - либо даст, либо не даст. :)

Если хотите проверить, то проведите тест out-of-sample, и, если результаты вас устроят и вы будете думать, что нашли рабочую систему, то проведите еще один тест "out-of-sample" на удвоенном периоде. Если и этот тест вас устроит, то проведите еще один - последний. Если и он вас устроит, то Вы можете сказать, что нашли работающую систему. Только вот будет ли она работать дальше ?!?!?, чтобы это проверить нужно что?....правильно - еще один тест :)))))).

Разве не так?

Согласен. Я столкнулся с тем, что тоже существует "подгонка" на "out-of-sample". И эту подгонку сложнее понять и её избежать......))))

 

Хмм, почему-то ожидал критики другой полярности :). Думал, разнесут в пух и прах мои выводы.

LeoV прав, что такую подгонку понять сложнее. Многие даже и не пытаются понять.

 
autoforex >>:

Хмм, почему-то ожидал критики другой полярности :). Думал, разнесут в пух и прах мои выводы.

LeoV прав, что такую подгонку понять сложнее. Многие даже и не пытаются понять.

Тот кто будет пытаться разносить в пух и прах эти выводы,те ещё ничего не поняли.До кого-то доходит быстро,кто-то за 10 лет досих пор не понял.Т.е. это всё те же сливальщики,которые занимаются онанизмом под названием - оптимизация,и обучают нейросети не понятно на что.Ищут там где светлее,а не там где нужно.

 
LeoV >>:

Согласен. Я столкнулся с тем, что тоже существует "подгонка" на "out-of-sample". И эту подгонку сложнее понять и её избежать......))))

А почему так неуверенно?Out-of-sample,forward и прочая дребедень - это клинический случай.На мартингале избежать подгонки невозможно.

Причина обращения: