Оценка надежности и пригодности эксперта для реальной торговли

[lukyanov]

Надежность - способность объектов, товаров сохранять требуемые свойства. Т.е. надежным я считаю эксперта, который дает прибыль на всех этапах тестирования и устойчив к "внешним воздействиям". Под пригодностью подразумеваю его допустимость дилерскими центрами. Вопрос: как определить и оценить надежность эксперта и его пригодность для торговли на реальном счете?

Пример:

Есть эксперт приносящий профит и в тестере, и на демо.

Период		15 Минут (M15) 2007.12.07 11:45 - 2008.03.14 22:45 (2007.12.01 - 2008.03.15)
Модель		Все тики (наиболее точный метод на основе всех наименьших доступных таймфреймов)
Параметры		Lots=1; MM=false;
Баров в истории	3746	Смоделировано тиков	652866	Качество моделирования	38.98%
Ошибки рассогласования графиков	55
Начальный депозит	10000.00
Чистая прибыль	106028.51	Общая прибыль	134513.88	Общий убыток	-28485.37
Прибыльность	4.72	Матожидание выигрыша	136.81
Абсолютная просадка	107.84	Максимальная просадка	1284.96 (1.12%)	Относительная просадка	3.58% (367.39)
Всего сделок	775	Короткие позиции (% выигравших)	450 (74.22%)	Длинные позиции (% выигравших)	325 (77.54%)
		Прибыльные сделки (% от всех)	586 (75.61%)	Убыточные сделки (% от всех)	189 (24.39%)
Самая большая		прибыльная сделка	1675.52	убыточная сделка	-181.73
Средняя		прибыльная сделка	229.55	убыточная сделка	-150.72
Максимальное количество		непрерывных выигрышей (прибыль)	25 (7289.86)	непрерывных проигрышей (убыток)	4 (-726.92)
Максимальная		непрерывная прибыль (число выигрышей)	11545.79 (14)	непрерывный убыток (число проигрышей)	-726.92 (4)
Средний		непрерывный выигрыш	4	непрерывный проигрыш	1

Как определить, надежен ли он и пригоден ли для торговли на реальном счету? По каким критериям оценивать?

[Yury Reshetov]

Lukyanov писал (а):

Надежность - способность объектов, товаров сохранять требуемые свойства.

...

Как определить, надежен ли он и пригоден ли для торговли на реальном счету? По каким критериям оценивать?

Вы сами и ответили на свой вопрос. Прогоните форвард тест, т.е. оптимизируйте этого советника за период с 2007.08.07 по 2007.12.07. А потом с входными параметрами, полученными при оптимизации, прогоните тест за период с 2007.08.07 по сегодня. Если на неоптимизируемом участке с 2007.12.07 по сегодня советник сохранит свои свойства давать профит, то значит он надежен по меньшей мере в тестере.

[[Удален]]

Lukyanov:
Как определить, надежен ли он и пригоден ли для торговли на реальном счету? По каким критериям оценивать?

"Практика критерий истины" - Поставь на реал и увидишь.
Кто же, кроме тебя, знает, что там у него внутри, может он спамит ДЦ не по-детски. Кто тебе может ответить?
Единственное что видно, так это резкое изменение характера графика баланса после 520-й сделки, что явно не вписывается в твое собственное определение надежности - эксперт практически перестал приносить прибыль.

[lukyanov]

Reshetov, этот тест включает в себя зону вне периода оптимизации:

timbo, "Кто же, кроме тебя, знает, что там у него внутри, может он спамит ДЦ не по-детски. Кто тебе может ответить?"

Дело не в технически правильном написании эксперта. В этой теме меня интересует приемлимость, например, отношения количества сделок к периоду тестирования. Оценка МОЖ, просадки, прибыльности и каких либо других критериев.. Я не знаю как воспринимать эти цифры, подходящей статьи не нашел, поэтому и создал тему.

Вот картинка отдельно с времени 520ой сделки и до конца:

Считаю, что для установки на реал, по крайней мере, надо знать - есть ли в этом во всем смысл.

[Belford]

Для объективной оценки системы, необходимо провести целый ряд форвард тестов, на не пересекающихся участках истории. Чем больше таких тестов, тем лучше (желательно более 30).

[[Удален]]

Lukyanov:
Дело не в технически правильном написании эксперта. В этой теме меня интересует приемлимость, например, отношения количества сделок к периоду тестирования. Оценка МОЖ, просадки, прибыльности и каких либо других критериев.. Я не знаю как воспринимать эти цифры, подходящей статьи не нашел, поэтому и создал тему.

Вот картинка отдельно с времени 520ой сделки и до конца:

Считаю, что для установки на реал, по крайней мере, надо знать - есть ли в этом во всем смысл.

Где-то там была статья, где рассказывалось, что значат эти цифры.

По картинке "отдельно": на более чем 250 сделок всего 4750 прибыли, что означает ~ 19 баков на сделку (матожидание), что при размере лота 1.0 даёт менее двух пипсов на сделку. А это очень мало. Это вообще ничто. Т.е. смысла нет.

[[Удален]]

Не зная на о чем основан советник, посоветовал бы проверить :

1) совпадение сделок тестера и демо, одного дня = 10 сделок хватит.

2) если тест на котировках ХЦ, проведите тест на котировках Альпари

3) как уже советовали, несколько, форвардов: оптимизация год, тест месяц; оптимизация год+месяц, тест месяц; итд.

И конечно настораживает, падающий под конец теста уровень доходности, а тест-то всего за 3 месяца, что для каких-либо выводов вообще очень мало и больше смахивает на подгонку.

[lukyanov]

Вообще идея темы была не в разборке данного советника. Его я привел лишь как пример. Меня больше интересует научиться самому оценивать то, что получается на выходе тестирования. Кто - нибудь может помочь мне в этом вопросе, или хотя бы дать ссылку где об этом написано (в поиске не нашел)?