Советник смотрит в будущее на тестере. Как распознать?

 

Коллеги, добрый день!

Вопрос: Советник смотрит в будущее на тестере. Как распознать?

То есть когда тестируешь на истории, он смотрит в будущее и выдает хорошие результаты. Особенно на оптимизации. А как выходишь в бой, то ничего хорошего сделать не может.

При этом, тестируешь на режиме "каждый чих на основе реального", чтобы качество истории 100% было.

Какие типы советников так делают чаще всего? Может есть способы как протестировать такое?

Сталкивался с таким чудо "оптимизатором" 10000% в месяц на другой платформе (называть не буду), но фобия осталась навсегда))

хуже только тестировать на ohlc режиме

Заранее спасибо за ответ!

 
igor_spb:
Вопрос: Советник смотрит в будущее на тестере. Как распознать?

Хороший вопрос. В те далёкие времена, когда пытался использовать чужие советники, меня мучал точно такой же вопрос. Единственный тест, который давал более-менее точный ответ - это Форвард в терминале МТ5. Задаёте для оптимизации советника период на истории, например, прошлый год, а для Форварда устанавливаете период - текущий год. ОБЯЗАТЕЛЬНОЕ УСЛОВИЕ!!! Для проведения тестов нужно установить режим моделирования "Каждый тик на основе реальных тиков". Есть ещё одна фишка, которая быстро ломает красивые картинки после получения хороших результатов на оптимизации. Нужно несколько раз прогнать тест с одними и теми же настройками, но задавать начало периода тестирования, допустим, не с 1-го числа какого-нибудь месяца, а выбирать дни РАНДОМНО. Пять-шесть тестов с рандомно заданными датами и картина будет ясна. Удачи! 

С уважением, Владимир.

 
igor_spb:
Вопрос: Советник смотрит в будущее на тестере. Как распознать?

Сейчас такое возможно только если прошиты даты событий в коде. Поэтому если исходников нет, то можно сделать кастомный символ и сместить даты на пару лет.

Есть вероятностное обобщение истории через методы МО, тут только скачать и подождать пару месяцев, и проверять на новых данных.

 
Aleksey Vyazmikin #:

Сейчас такое возможно только если прошиты даты событий в коде. Поэтому если исходников нет, то можно сделать кастомный символ и сместить даты на пару лет.

Есть вероятностное обобщение истории через методы МО, тут только скачать и подождать пару месяцев, и проверять на новых данных.

Если прошита история, то смещение дат не поможет. Жулики ведь не идиоты - поиск по образцу (найти текущий кусок котировок в прошитом) и всё. 

Совершенно с другими целями (для быстрого рассчёта балансов,просадок) "сжимал историю" - так вот зигзагами она жмётся раз в 100. Если с фурье то и поболее того

По объёму наверное даже и не заметишь если прошита в советник

----

Единственно надёжный способ удостовериться что советник действительно делает то что должен - это понимать что он должен делать (знать торговый алгоритм) и проверять его работу в визуальном тестере.

поэтому лучший робот - робот по известным торговым принципам. 

 
Maxim Kuznetsov #:

Если прошита история, то смещение дат не поможет. Жулики ведь не идиоты - поиск по образцу (найти текущий кусок котировок в прошитом) и всё. 

Если есть разные преобразования, то это уже скорей второй вариант, что я написал.

Я не думаю, что прям много жуликов явных, на порядок больше людей заблуждающихся...

 
Aleksey Vyazmikin #:

Если есть разные преобразования, то это уже скорей второй вариант, что я написал.

Я не думаю, что прям много жуликов явных, на порядок больше людей заблуждающихся...

жуликов полно..

и историю они прошивали только в путь - даже MQ вводили расстрельный сезон, нельзя было публиковать объёмный советник, он сразу попадал под подозрения в тупой прошивке с быстрыми банами. Вопли даже на форум заносило

---

а советники с МО,NN и прочим непроверяемым, опасны тем что малейшее переобучение - и всё, история неявным образом прошилась. И оно будет делать "поиск по образцу", но своими кривыми методами.

такие советники честно работать-то могут только в руках автора. И то не факт, зависит от его квалификации :-) 

 
Единственный вариант - это перевернуть историю вверх-ногами и проверить этот советник. 

Если он работал на зеркальных паттернах (одинаковые для бай и для сел, только перевёрнутые вверх-ногами), то он будет работать и на перевёрнутой истории. 

А если он подогнан под график (зубрил историю) - он сразу сольётся
 
igor_spb:

Коллеги, добрый день!

Вопрос: Советник смотрит в будущее на тестере. Как распознать?

То есть когда тестируешь на истории, он смотрит в будущее и выдает хорошие результаты. Особенно на оптимизации. А как выходишь в бой, то ничего хорошего сделать не может.

При этом, тестируешь на режиме "каждый чих на основе реального", чтобы качество истории 100% было.

Какие типы советников так делают чаще всего? Может есть способы как протестировать такое?

Сталкивался с таким чудо "оптимизатором" 10000% в месяц на другой платформе (называть не буду), но фобия осталась навсегда))

хуже только тестировать на ohlc режиме

Заранее спасибо за ответ!

тест на текущей демокотировке

 
Renat Akhtyamov #:

тест на текущей демокотировке

если робот с маркета, то для этого его надо купить или арендовать хотя-бы на месяц :-) то есть уже на руку всяким редискам - пойдёт прибыль

удостовериться в алгоритме можно только зная сам алгоритм.

---

В роботах не должен скрываться торговый принцип - просто робот более строго ему следует (не спит, не ест и ничего не пропустит) чем может трейдер вручную.

Вот только тогда можно проверить и удостоверится что это не "кот в мешке"

Иначе в 95% случаев - это нарочная или невольная фигня

 
Maxim Kuznetsov #:

если робот с маркета, то для этого его надо купить или арендовать хотя-бы на месяц :-) то есть уже на руку всяким редискам - пойдёт прибыль

удостовериться в алгоритме можно только зная сам алгоритм.

---

В роботах не должен скрываться торговый принцип - просто робот более строго ему следует (не спит, не ест и ничего не пропустит) чем может трейдер вручную.

Вот только тогда можно проверить и удостоверится что это не "кот в мешке"

Иначе в 95% случаев - это нарочная или невольная фигня

в файлах МТ5 можно подсмотреть историю?

по моему нет

значит советники в МТ5 такими не получатся

если советник на МТ5 предварительно создает файл с историей, то такое можно обнаружить

 
Renat Akhtyamov #:

в файлах МТ5 можно подсмотреть историю?

по моему нет

значит советники в МТ5 такими не получатся

если советник на МТ5 предварительно создает файл с историей, то такое можно обнаружить

"в файлах МТ5 можно подсмотреть историю?" - первое что Вы делаете, когда советник запускается - это ПРОГРУЗКА ИСТОРИИ... куда-то)) куда? а, вот, именно туда.

Второй, тип жалоб на так называемых СУПЕР ИИ советников, что при первом прогоне они к себе качают историю в кэш. И выдает стоп, ошибку, или плохой результат. Разумеется ты 2й раз нажимаешь запуск тестера и вдруг о чудо !!! это супер грааль. Покупаешь советник, но на реальной торговле будет не так все радужно ((( Претензии, ну иди судись. Причем если это обычный пользователь, то он вообще ничего не поймет.


Тогда надо давать гарантию на советника, что он даст прибыль такую-то не менее при таких параметрах или возврат денег. Но какой разработчик на такое пойдет?!

Цена советника - не гарантия. Наоборот, чем дороже, тем больше вероятность обмана. И за дешево ерунду получишь.