Где грань между подгонкой и реальными закономерностями? - страница 63

 
joo:

, что бы после того, как мозги встанут на место после встряски, родились новые, на самом деле перспективные идеи...

...потом обычно выясняется, что это просто новые до неузнаваемости грабли...

во-во.

перспективность идей проверяется новыми граблями :)

 

Думается, что у потенциально робастной системы возможен подбор целостного "сложного" критерия, по которому все прошедшие ООС выстроятся в ряд без пропусков, если их отсортировать применяя этот критерий. Для туфтовых неробастных это невозможно - будут встречаться пропуски в строках. Это собственно и есть показатель робастности - целостность списка прошедших ООС...

По хорошему, нужно провести сначала полный перебор всех параметров без ГА. Использовать при этом максимально возможный шаг (понятно, что с шагом особо грубить нельзя, иначе..). Это даёт нам следующее:

1. независимость полученного списка от какого бы то ни было критерия, так как это перебор всех параметров а не оптимизация

2. составление "правдивого" критерия для последующих оптимизаций но уже с ГА применяя этот критерий.

Т.е технология такая: полный перебор->составления критерия->использование критерия в последующих быстрых оптимизациях с ГА.


как то так.

 
Yury Reshetov:

Грань можно вычислить, сравнив результаты между Sample и OOS

Во многих нейросетевых пакетах очень удобно предусмотрели разделение выборки на обучающую и тестовую. Грань определить очень легко. Если на тестовой выборке никаких улучшений вообще не происходит, то это голимая подгонка. Т.е. входы некошерные и ТС можно выкинуть. В остальных случаях смотрим до момента, когда на обучающей выборке результаты продолжают улучшаться, а на тестовой более не улучшаются - это и есть та самая грань.

Другое дело, что в тестере MT* разделение исторических данных на оптимизируемую и тестовую выборку не предусмотрено, а посему хоть обсуждай, хоть не обсуждай, а выявить грань при таком раскладе в процессе оптимизации практически невозможно.

Экспериментируя с ТС оперирующими вероятностями, заметил, что подгонка проявляется тогда, когда какие-то какие-то исторические события имеют нулевую вероятность. Любое событие имевшее место в истории должно иметь вероятность выше 0.


ООС- Это лажа, самообман и та же самая подгонка. Точнее один из вариантов ошибки выжившего.

Н‌ет никакого смысла делить историю на части, ведь в результате вы всё равно выберете параметы, которые проходят ООС. , что равно той же самой подгонке. Выбираете случайный удачный вариант из кучи других. Можно сразу гонять всю историю - результат будет аналогичен.

 
John Smith:


ООС- Это лажа, самообман и та же самая подгонка. Точнее один из вариантов ошибки выжившего.

Н‌ет никакого смысла делить историю на части, ведь в результате вы всё равно выберете параметы, которые проходят ООС. , что равно той же самой подгонке. Выбираете случайный удачный вариант из кучи других. Можно сразу гонять всю историю - результат будет аналогичен.


Все так.‌

Есть еще один момент, который может заставить задуматься при написании ТС.

Тестирование по тиковым котировкам: подводные камни
Тестирование по тиковым котировкам: подводные камни
  • www.argolab.net
В свое время, когда тестирование по реальным тиковым котировкам в тестере стратегий МТ4 только-только появилось, тесты «с качеством моделирования 99%» стали считаться эталоном и чуть ли не окончательной правдой. А разница в результатах тестов между «обычным» тестированием с использованием М1 котировок и тиковых котировок интерпретировалась...
 
fxsaber:


Все так.‌

Есть еще один момент, который может заставить задуматься при написании ТС.


Тики - это хаос, не стоит тратить время. Нет в них никакой закономерности и быть не могут. Закономерности могут быть обнаружены в сроках, сравнимыми с экономическими циклами в 250-350 дней и более. Причем, это период какой-либо закономерности, а сами закономерности охватывают еще более длительное время. А то, что, многим кажется - это действительно, кажущиеся закономерности, не имеющиеся ничего общего с настоящей закономерностью.
 
Yousufkhodja Sultonov:

Тики - это хаос, не стоит тратить время. Нет в них никакой закономерности и быть не могут. Закономерности могут быть обнаружены в сроках, сравнимыми с экономическими циклами в 250-350 дней и более. Причем, это период какой-либо закономерности, а сами закономерности охватывают еще более длительное время. А то, что, многим кажется - это действительно, кажущиеся закономерности, не имеющиеся ничего общего с настоящей закономерностью.

Юсуфходжа, расскажите это тем чудакам, которые покупают места для своего оборудования прямо в серверных стойках бирж для ускорения доступа к биржевому трафику (тиковому потоку) - ибо они видимо идиоты и не ведают, что творят!
 
Yousufkhodja Sultonov:

Тики - это хаос, не стоит тратить время. Нет в них никакой закономерности и быть не могут. Закономерности могут быть обнаружены в сроках, сравнимыми с экономическими циклами в 250-350 дней и более. Причем, это период какой-либо закономерности, а сами закономерности охватывают еще более длительное время. А то, что, многим кажется - это действительно, кажущиеся закономерности, не имеющиеся ничего общего с настоящей закономерностью.
Тики создают определенные алгоритмы- следовательно они накладывают на них свой отпечаток, создавая определенные паттерны. Алгоритм не может работать и не создавать следов присутствия на рынке. Значит в тиках есть закономерности.
 
fxsaber:

Все так.‌

Свинья везде грязь найдет. Если хочешь подогнать -- подгонишь.

Если же нужен правдивый результат и иллюзии отсутствуют, валк форвард рулит, и даже просто форвард пролезен.

‌

 
Комбинатор:

Свинья везде грязь найдет. Если хочешь подогнать -- подгонишь.

Если же нужен правдивый результат и иллюзии отсутствуют, валк форвард рулит, и даже просто форвард пролезен.

Это вечная тема спора.
 
Комбинатор:

Если же нужен правдивый результат и иллюзии отсутствуют, валк форвард рулит, и даже просто форвард пролезен.

Есть некоторое терминологическое непонимание. На мой взгляд, когда говорят про форвард, имеют в виду две ситуации

  1. И‌дет оптимизация ТС с форвардом. Т.е. форвард прогоняется на каждом проходе оптимизатора.
  2. Идет полная оптимизация. И единичные прогоны уже законченной оптимизации прогоняются на форварде - OOS.
1 - самообман. 2 - нормальная практика.