Какой метод тестирования для оптимизации лучше?

Новый комментарий
 

Пробую оптимизировать советника с 8 параметрами генетическим методом. Сначала использовал метод тестирования "OHLC на M1", но столкнулся с тем, что результаты сильно различаются по сравнению с "Каждый тик на основе реальных тиков". Предполагается работа советника на таймфрейме Н1. Так и оптимизирую. Методом "Каждый тик на основе реальных тиков" очень медленно. А как по вашему надо? Как понять какой метод дает корректные результаты, а какой нет?

Прилагаю для сравнения результаты.

Картинка по "Все тики" и "OHLC на M1" радует, но смущает именно что получается на  "Каждый тик на основе реальных тиков".

 
Если эксперт мультивалютный, то "Все тики" и "OHLC на M1" - будут врать. Тут только по ценам открытия и по реальным тикам можно тестировать. Причем между ними и у меня большая разница. По реальным тикам жутко долго тестировать, но результат тестирования будет максимально приближенным к реальности.
Для одновалютных - теоретически, все варианты тестирования должны примерно одинаково работать, но по вашим картинкам этого не видно.
 
elibrarius:
Если эксперт мультивалютный, то "Все тики" и "OHLC на M1" - будут врать. Тут только по ценам открытия и по реальным тикам можно тестировать. Причем между ними и у меня большая разница. По реальным тикам жутко долго тестировать, но результат тестирования будет максимально приближенным к реальности.
Для одновалютных - теоретически, все варианты тестирования должны примерно одинаково работать, но по вашим картинкам этого не видно.
Эксперт не мультивалютный. Результаты получены на CADJPY. Но хочу вешать его на все инструменты с оптимизацией под каждый.
Как бы понять все-таки какие результаты ближе к реальности? Разница в результатах из-за того, что на реальных тиках и по ценам открытия сильно реже срабатывает тейкпрофит.
Попробую сравнить визуализации по реальным тикам и ohlc.

 

Сравнил картинку CADJPY за 2016.04.01 15:30. Выяснилось, что на реальных тиках спрэд раздвигается так, что сначала бьет по стопу. Прилагаю скрины тиков. Все тики - ближе к реальности, но тоже спрэд маленький.

 
Yury Golyakov:

Сравнил картинку CADJPY за 2016.04.01 15:30. Выяснилось, что на реальных тиках спрэд раздвигается так, что сначала бьет по стопу. Прилагаю скрины тиков. Все тики - ближе к реальности, но тоже спрэд маленький.

В реальной торговле спред тоже будет расширяться. Значит реальные тики - самое точное тестирование.
 
По сути ни какой, тестеривание это первый шаг к тому чтобы запустить советник в реальном времени. Только реальный тест даст результат, так же есть много факторов как спред, расширение спреда, проскальзывание, задержка исполнения которая может не только от пинга зависеть, но и от кухни на которой едим=) 
 
elibrarius:
В реальной торговле спред тоже будет расширяться. Значит реальные тики - самое точное тестирование.
Значит так. Очень долго оптимизировать только. Но другие методы тестирования получается, что вообще почти бесполезные.
 
Yury Golyakov:
Значит так. Очень долго оптимизировать только. Но другие методы тестирования получается, что вообще почти бесполезные.

Все проще.  Оптимизация -не есть тестирование. Тестирование - это проверка  в неоптимизированных условиях.

Можно тестировать в реальности, можно на истории. Реальность - это самый правдивый способ тестирования. Недостаток - очень долго и нельзя в точности повторить. В МТ5 тестовая функция очень слабая, поэтому лучше ее называть не Тестер стратегий, а Оптимизатор стратегий.

Самый зарекомендоваший себя способ тестирования на истории  -волкинг-форвард. Т. е. имитация наступления неоптимизированного будущего. Недостаток -использует только эффект инерционности рынка, без специфики отдаленных участков истории

Способов же оптимизации существует масса.

По порядку вовлеченности переменных - все сразу, по очереди, генетика, случайно, выборочно.

По критериям  отбора - качественные и количественные, пользовательские и штатные, цифровые и графические и тд.. 

Самый лучший способ оптимизации  -тот, который соответственно дает лучшие результаты тестирования.

Самый лучший результат тестирования, на мой взгляд, - максимум бабок при минимуме риска. При долговременном тестировании - просто максимум бабок.

Приемлемость качества истории зависит от целей оптимизации. 

Если цель оптимизации - реальная торговля, то тики на основе тиков - лучше всего. Если цель оптимизации - сравнение тестирования  при волкинг-флрварде разных вариантов кода  -можно употребить и минутную историю, поскольку важны не абсолютные результаты, а относительные.

При этом метод оптимизации тоже подбирается по результатам тестирования.

 
Youri Tarshecki:
Если цель оптимизации - сравнение тестирования  при волкинг-флрварде разных вариантов кода  -можно употребить и минутную историю, поскольку важны не абсолютные результаты, а относительные.
Сравнил оптимизацию по ценам открытия М1 и по реальным тикам. Ну совсем разные результаты. Там где М1 сливает, реальные тики переживают просадку и заканчивают с плюсом. Есть и обратные варианты.
 
Youri Tarshecki:

Самый зарекомендоваший себя способ тестирования на истории  -волкинг-форвард. Т. е. имитация наступления неоптимизированного будущего. Недостаток -использует только эффект инерционности рынка, без специфики отдаленных участков истории.

Это понятно. Но в МТ5 есть только одноразовый форвард, который по-моему бесполезен.

А специфика отдельных участков истории - это не тоже самое, что инерционность?  Мы не может предсказать когда специфика начнется в будущем и когда закончится. Но есть некоторая инерционность. Примерно также, как с трендами.

 
Yury Golyakov:

А специфика отдельных участков истории - это не тоже самое, что инерционность?  

Нет, не то же самое.

Есть специфические свойства рынка, которые неинерционны. Например, корреляционность с другими инструментами, рективность на новости, паттерность и тд. Они, как правило,  цикличны в той либо другой степени. Т.е. цикличность - это в каком-то смысле противоположность инерционности.

Но поскольку надежного способа выяснять специфическую цикличность  и степень ее влияния на данную ТС нет, то расчет на инерционность при волкинг-форварде более распространен. Кроме того, он более прост и технологичен, поэтому и предпочтителнее.

 Но инерционность не есть трендовость. Рынок может быть инерциооно трендовым или инерционно флетовым. 

123
Новый комментарий
Причина обращения: