Правила тестирования экспертов

 
Предлагаю создать писаные правила тестирования экспертов.
То, что знаю я:
1. Тестирование нужно проводить с постоянным лотом: статья "Мой первый грааль" 'Мой первый "грааль"'
2. Эксперт считается хорошим если матожидание больше 15: статья "Мой первый грааль" 'Мой первый "грааль"'
3. Желательно протестировать отдельно короткие и длинные позиции: предлагал Rosh (не помню где).

Предлагайте опровергайте, дополним и перепишем.
Я так предполагаю, что можно описать не только правила тестирования, но и правила использования статистических данных, полученных на тестах, чтобы оценить эксперта. А можно создать дополнительную ветку.
 
Alfa писал (а):
Предлагаю создать писаные правила тестирования экспертов.
То, что знаю я:
1. Тестирование нужно проводить с постоянным лотом: статья "Мой первый грааль" 'Мой первый "грааль"'
2. Эксперт считается хорошим если матожидание больше 15: статья "Мой первый грааль" 'Мой первый "грааль"'
3. Желательно протестировать отдельно короткие и длинные позиции: предлагал Roch (не помню где).

Предлагайте опровергайте, дополним и перепишем.
Я так предполагаю, что можно описать не только правила тестирования, но и правила использования статистических данных, полученных на тестах, чтобы оценить эксперта. А можно создать дополнительную ветку.



1. А если изменяемый лот - это суть алгоритма Советника? Тогда с постоянным лотом нет смысла тестить.
2. При тестировании получается мат. ожидание от отрицательного до нескольких сотен... И это ни о чём не говорит. Выбирайте любой варинат. Большое мат. ожидание не исключает подгонки под историю.
3. Какой смысл тестить короткие позы отдельно от длинных, если в алгоритме Советника они сменяют друг друга в определённой последовательности. Если выкинуть половину поз, то открытие других сместиться.

Вывод прост: Правила тестирования состоят из других пунктов. ...
 
Alfa писал (а):
Предлагаю создать писаные правила тестирования экспертов.
То, что знаю я:
1. Тестирование нужно проводить с постоянным лотом: статья "Мой первый грааль" 'Мой первый "грааль"'
2. Эксперт считается хорошим если матожидание больше 15: статья "Мой первый грааль" 'Мой первый "грааль"'
3. Желательно протестировать отдельно короткие и длинные позиции: предлагал Roch (не помню где).

Предлагайте опровергайте, дополним и перепишем.
Я так предполагаю, что можно описать не только правила тестирования, но и правила использования статистических данных, полученных на тестах, чтобы оценить эксперта. А можно создать дополнительную ветку.



Могу добавить :
- советник должен давать стабильную прибыль каждый месяц за последние 1. 5 года ( величина прибыли может колебаться но в целом должен быть стабильный рост)
- тестировать используя минутки исключительно... ( при небольших профитах и лосах)
- на счет менять лоты или нет мне кажется это не суть важно
- лучшие результаты отсматривать в ручную приходиться ...( что бы определить постоянный рост)
- также смотреть надо на чем советник зарабатывает... что бы это были не новости... а ровный рынок белее менее.
- размер мат ожидания по моему тоже не важен
- далее надо сравнить количество и качество сделок на истории и демо !!!! ( сразу понятно достоверность)
- а потом сравнить демо и реал.

если на истории почти как на демо ..на демо как в реале... и прибыль стабильна каждый месяц.... я лично такого готов ставить на реал. ...
 

Единственный критерий оценки - стейт реального счета за 2-3 месяца, ну или демо накрайняк... Все остальное носит весьма приблизительный характер, для технического использования. IMHO.
Да и чему эти единые правила? Меряться результатами тестов?;)

 

Не могу объяснить результаты теста


Сверху стейт, снизу результат теста.
Цены открытия, закрытия (по ТР) одинаковые, время открытия/закрытия совпадает!

Почему же прибыль разная???

Вот и верь после такого тестам!

 
Не хватает информации. В стейтменте видно, что свопы нулевые, а в тестере результаты показаны уже со свопами. Значит сделки имели разную длительность, хотя и одинаковый финансовый результат ( + 95 швейцарских франков). На каком сервере производилось тестиование, в Альпари , например, своп равен 1.11 пункта, то есть 1.11*$1/1.27=$0.87 за ночь, а тут разница $0.99.

http://www.alpari-idc.ru/ru/faq/swaps.php
 
Figar0 писал (а):

Единственный критерий оценки - стейт реального счета за 2-3 месяца, ну или демо накрайняк... Все остальное носит весьма приблизительный характер, для технического использования. IMHO.
Да и чему эти единые правила? Меряться результатами тестов?;)

очень верное замечание.
И ещё: зачем тест на минутах, если теоретически невозможно создать советника торгующего в прибыль на минутах.
 
lukas1 писал (а):
И ещё: зачем тест на минутах, если теоретически невозможно создать советника торгующего в прибыль на минутах.
Это-то как раз понятно - тестирование на минутах дает 90% качество моделирования и нивелирует возможное несовершенство искусственной генерации тиков, что практически приравнивает его к тестированию на демо.
 
Понял, единые правила сделать нельзя, слишком разные стратегии, но при этом опыт других людей поможет сэкономить массу времени. С этим, то вы согласны?
 
Во что нашел Подготовка котировок для тестов на истории может кому-то поможет, мне дак точно. Спасибо автору.
 
Rosh:
Не хватает информации. В стейтменте видно, что свопы нулевые, а в тестере результаты показаны уже со свопами. Значит сделки имели разную длительность, хотя и одинаковый финансовый результат ( + 95 швейцарских франков). На каком сервере производилось тестиование, в Альпари , например, своп равен 1.11 пункта, то есть 1.11*$1/1.27=$0.87 за ночь, а тут разница $0.99.

http://www.alpari-idc.ru/ru/faq/swaps.php

Совершенно верно - не начислили свопы (это на ЛФ = 1.2 пункта).

Но я про то что результаты реальной торговли отличаются от результатов бак-теста, как минимум на эти внешние факторы.
Типа:
- не начислили свопы,
- шпилька на графике, которую потом в истории вычищают,
- заболел сервер на пару часов,
- заболел сам и не смог дойти до компьютера,
- заболел компьютер,
- уехал в отпуск...
и т.п.

А вот тестирование на демо уже гораздо ближе к реальной торговле и позволяет определить подходит выбранная стратегия именно к твоему режиму работы/занятости и т.д.
Причина обращения: