КАК ДАЛЕКО РЕЗУЛЬТАТЫ ТЕСТОВ ЭКСПЕРТОВ ОТ РЕАЛЬНОЙ ТОРГОВЛИ? - страница 3

 
При тесте очень много зависит от кода эксперта. И чтоб проверить, насколько тестирование соответствует реальной торговле, надо после теста вручную анализировать каждую сделку. И всё равно верить тесту на 100% нельзя...

Ну и про будущее правильно - ни один эксперт не будет торговать сейчас так, как торговал вчера.
Если эксперт действительно стОящий, поставьте его на демо-счёт на месяца 3. Если он действительно может приносить прибыль, 3 месяца ничего не решат - успеете разбогатеть ;) а если он - "один из" тех, кто сливает, - сохраните свои кровные ;)


На самом деле все гораздо хуже. У меня есть эксперт, который за 2 месяца и 100 сделок увеличил начальный капитал в 1.5 раза, а за следующий месяц и за 60 сделок вернулся к безубытку. Это называется случайные блуждания.

Идеально, и я надеюсь, кто-нибудь опубликует, наконец, формулу для чайников, было бы следующее: рассчитать, имея серию сделок, насколько сильно и в какую сторону отличается результат от статистически прогнозируемого (случайного). Вот это было бы почти решением. Почти - потому, что дальше пойдет влиять политическая ситуация, время года и цены на украинскую нефть...
 
На самом деле все гораздо хуже. У меня есть эксперт, который за 2 месяца и 100 сделок увеличил начальный капитал в 1.5 раза, а за следующий месяц и за 60 сделок вернулся к безубытку. Это называется случайные блуждания.
Глядя на изломы графика оптимизации при изменении какого-нибудь параметра на один жалкий пункт, начинаешь предполагать, что для статистической обеспеченности сделки должны исчисляться тысячами. В лучшем случае.
 
P.S. Кстати, из общепринятй рекомендации входить в рынок не более, чем несколькими процентами депозита, можно предположить, что для хорошей стратегии 3 сигма составляют несколько десятков сделок. Правда распределение не обязано быть нормальным.
 

Идеально, и я надеюсь, кто-нибудь опубликует, наконец, формулу для чайников, было бы следующее: рассчитать, имея серию сделок, насколько сильно и в какую сторону отличается результат от статистически прогнозируемого (случайного). Вот это было бы почти решением. Почти - потому, что дальше пойдет влиять политическая ситуация, время года и цены на украинскую нефть...


Появилось окно в пару часов :).
Все не так просто. И это, к сожалению, не формула.
Конечно же после получения положительного результата еще необходимо оценить результат, который был бы получен при случайном угадывании или подгонке под историю и сравнить эти результаты.
В данной ситуации могло быть достаточно много оптимизируемых параметров и соответственно длина выборки явилась недостаточной для построения статистически обоснованного решения.
Пример : у Вас два оптимизируемых параметра и на выборке прошло 2-е сделки - через две точки всегда пройдет одна прямая и оптимизированные параметры с большой долей вероятности будут случайными. Соотвественно вероятность повторяемости такого результата минимальна. Если прошло большее количество сделок (через три точки уже не всегда пройдет одна прямая), то вероятность подгонки резко снижается. То есть для оценки необходимой длины выборки и количества сделок необходимо еще учитывать количество варьируемых параметров.
Что необходимо еще: сама выборка может быть нерепрезентативной. То есть, в данный момент времени могли играть роль слишком мало факторов с очень сильным воздействием каждого. Пример: выборка минутных баров за неделю с выходом новостей и без таковой дадут разные результаты. Поэтому, если была оптимизация, то после торгов на данной выборке еще проводят торги вне выборки (период слепого тестирования) и еще потом проводят оценку, так называемого, t-теста для того, чтобы можно было оценить насколько велик разброс серий выиграшей и проигрышей в системе и насколько профит получен за счет особенностей выборки (чем больше учитываются особенности выборки, тем хуже: это значит, что профит получен не за счет закономерностей движения, а случайно) - я уже писал, что пользуясь только тестером МТ4 нельзя сделать статистически обоснованное заключение о пригодности системы - увы, только о непригодности, но и этого немало.
Для более полной оценки есть целые специализированые пакеты (в той же Омеге реализована не вся статистика, которая может помочь в оценке стратегии). Более полно это реализовано в С-Trader Toolkit, например. Есть еще пакеты которые существенно могут облегчить жизнь разработчику МТС - тот же МатЛаб.
Если кому будет интересно - на пауке лежит книга Катса и Маккормика "Энциклопедия торговых стратегий" и хороший выбор литературы по статистике в приложении к финансовым рынкам. Методы, описанные там, позволяют достаточно серьезно сэкономить как времени так и денег.


Удачи и попутных трендов.
 
Обнаружил следующую странность!
работаю в одном из ДЦ

тестировал советника в ТЕСТЕРЕ СТРАТЕГИЙ на котировках с ДЕМО
и этот же период в ТЕСТЕРЕ СТРАТЕГИЙ на котировках с РЕАЛА!
результаты по идее должны быть одинаковыми! УВЫ далеко не так

Кто знает в чем могут быть проблемы
Причина обращения: