Есть Робот. Я заинтересован найти на Форуме проверяющих. Возможно ли это ? - страница 2

 
Reuven:

Здравствуйте форумчане.

Я разработал Робот на основе Бинарных Опционов.

Ищу грамотных проверяющих.

Заплачу с прибыли, как договоримся.

 Возможно ли это ?

 

Reuven.

Если дадите исходник или разместите его через маркет, то готов услышать требования к тестированию. 

 
Youri Tarshecki:

Дело не в грамотных тестерах, а просто в отсутствии нормальных стандартов тестирования в сообществе. К примеру, мало кто пользуется автотестером. А если кто пользуется  -отчеты каждый делает строго под свои представления. Совсем не популярен волк-форвард. Нет единого стандарта представления результатов волк-форварда. Нет понимания, что задача теста -кроме того,  выявлять оптимальныую глубину тестирования, шаг тестирования, а не просто удачный сет для переменных.

А так-то услуга такая, по идее, должна существовать, хотя бы для независимой оценки. 

Вы очень правильно написали, я и сам не силен в правильном тестировании. Сужу по другим людям, на последнем месте работы сидела девочка на тестировании, когда она уходила в декрет, шеф прям ее умолял поскорее возвращаться и при желании работать из дома. Реально была крутой тестер по рассказам тех, кто с ней плотно работал.

 
Reuven:

Здравствуйте форумчане.

Я разработал Робот на основе Бинарных Опционов.

Ищу грамотных проверяющих.

Заплачу с прибыли, как договоримся.

 Возможно ли это ?

 

Reuven.

Как тестировать пердполагаете? На каких счетах?
 
Alexey Volchanskiy:

Вы очень правильно написали, я и сам не силен в правильном тестировании. Сужу по другим людям, на последнем месте работы сидела девочка на тестировании, когда она уходила в декрет, шеф прям ее умолял поскорее возвращаться и при желании работать из дома. Реально была крутой тестер по рассказам тех, кто с ней плотно работал.

Скорее всего то, что делала ваша девочка -обычное тестирование продукта. т.е. контроль качества. Весь фокус в том  -что считать качеством в случае с советником.

Если надежность и скорость исполнения ордеров, отлаженность кода  - это одна история.

Если оценка того -прибыльный, устойчивый, робастый или нет советник -  совсем другая . 

 У нас так сложилось, что МТ4\5 не имеют встроенного волк-форварда. И поэтому у многих понятие ТЕСТА и ОПТИМИЗАЦИИ слились в одно. И на маркете и друг дружке народ показывает результаты не тестов в неоптимизированных условиях, а результаты оптимизации с явными признаками подгонки под историю.

Кроме того, даже если такая привычка к волк-форвардам каким-то чудом и появится - следующим вопросом будет - а насколько можно доверять подобным тестам, предоставленным самими разработчиками.

Пока же метаквоты даже не начали дискуссию на тему волк-форварда (для начала можно было бы открыть отдельный раздел, поскольку топики о тестировании появляются с завидной регулярностью). ОБщаясь с разными энтузиастами этого дела я вижу, что подходы очень разные и даже методики волк-форварда очень разные и поэтому есть много чего еще обсуждать.

 Т.е. если метаквоты будут продолжать игнорировать необходимость встроенного в тестер стратегий волк-форварда , то рано или поздно, действительно, возникнет отдельный бизнес - качественное и, главное, НЕЗАВИСИМОЕ (т.е. объективное) тестирование советников на неоптимизированных участвках с развернутой отчетностью.

 
Youri Tarshecki:

Скорее всего то, что делала ваша девочка -обычное тестирование продукта. т.е. контроль качества. Весь фокус в том  -что считать качеством в случае с советником.

Если надежность и скорость исполнения ордеров, отлаженность кода  - это одна история.

Если оценка того -прибыльный, устойчивый, робастый или нет советник -  совсем другая . 

 У нас так сложилось, что МТ4\5 не имеют встроенного волк-форварда. И поэтому у многих понятие ТЕСТА и ОПТИМИЗАЦИИ слились в одно. И на маркете и друг дружке народ показывает результаты не тестов в неоптимизированных условиях, а результаты оптимизации с явными признаками подгонки под историю.

Кроме того, даже если такая привычка к волк-форвардам каким-то чудом и появится - следующим вопросом будет - а насколько можно доверять подобным тестам, предоставленным самими разработчиками.

Пока же метаквоты даже не начали дискуссию на тему волк-форварда (для начала можно было бы открыть отдельный раздел, поскольку топики о тестировании появляются с завидной регулярностью). ОБщаясь с разными энтузиастами этого дела я вижу, что подходы очень разные и даже методики волк-форварда очень разные и поэтому есть много чего еще обсуждать.

 Т.е. если метаквоты будут продолжать игнорировать необходимость встроенного в тестер стратегий волк-форварда , то рано или поздно, действительно, возникнет отдельный бизнес - качественное и, главное, НЕЗАВИСИМОЕ (т.е. объективное) тестирование советников на неоптимизированных участвках с развернутой отчетностью.

Разумеется, девочка прогоняла разработанную сложную систему тестов, которые были подготовлены не только ей. Но даже таких людей тут на форуме не найти. Я говорю по своему опыту, набрал пол-года назад группу по тестированию робота, дал им его без ограничений на реал, типа вы мне тесты, а взамен пожалуйста зарабатывайте. Написал четкую методику и скрипт для составления отчетов. Ничего, кроме бордака и болтовни в скайп-группе не получилось, даже отчеты почти никто не присылал. 

Вот тут нашел статью о волк-форварде, читали? https://www.mql5.com/ru/blogs/post/668374

Делаем Walk-Forward на MQL5 с использованием штатного тестера. Часть 1.
Делаем Walk-Forward на MQL5 с использованием штатного тестера. Часть 1.
  • 2016.04.18
  • Igor Volodin
  • www.mql5.com
Что такое  Walk-Forward тестирование?Простым языком, Walk-Forward тестирование эмулирует переодическую переоптимизацию советника и его торговлю на   исторических  данных.Т.е., для...
 
Alexey Volchanskiy:

Разумеется, девочка прогоняла разработанную сложную систему тестов, которые были подготовлены не только ей. Но даже таких людей тут на форуме не найти. Я говорю по своему опыту, набрал пол-года назад группу по тестированию робота, дал им его без ограничений на реал, типа вы мне тесты, а взамен пожалуйста зарабатывайте. Написал четкую методику и скрипт для составления отчетов. Ничего, кроме бордака и болтовни в скайп-группе не получилось, даже отчеты почти никто не присылал. 

Вот тут нашел статью о волк-форварде, читали? https://www.mql5.com/ru/blogs/post/668374

Да, конечно. Автор статьи описал теорию, сделал, похоже, скрипт по графическому отображению множества тестов в одной картинке и замолчал. Т.е. непонятно сделал он что-то конкретное или нет.

Вообще, на форуме я знаю всего лишь порядка 6-8 людей, которые точно делают волк-форварды. Это очень мало. При этом лично у меня с некоторыми есть разногласия. К примеру, по вопросу допустима ли генетика и в каком виде при волк-форварде. 

 
Youri Tarshecki:

Да, конечно. Автор статьи описал теорию, сделал, похоже, скрипт по графическому отображению множества тестов в одной картинке и замолчал. Т.е. непонятно сделал он что-то конкретное или нет.

Вообще, на форуме я знаю всего лишь порядка 6-8 людей, которые точно делают волк-форварды. Это очень мало. При этом лично у меня с некоторыми есть разногласия. К примеру, по вопросу допустима ли генетика и в каком виде при волк-форварде. 

Вообще интересная тема, я как-то о ней сильно не задумывался. А можете рассказать как вы делаете волк-форварды?
 

Общие принципы у всех как-бы одинаковые. Исполнение разное.

Насколько я понимаю, есть  основной способ - скрещивать все со всем на всей истории, а собственно, волк-форвард считать уже по метаданным, т.е., по сути виртуально.

Преимущества - однажды получив все сделки можно свободно играть с отрезками как бэка, так и форварда, перемещая их туда-сюда. Можно свободно выбирать критерии отбора оптимизации(если, конечно, умеешь их считать по метаданным).

Недостатки - пока не получишь весь объем сделок работать невозможно. Кроме того, если применяется генетика, то какие-то сочетания по поределению опускаются, а это уже вмешательство в будущее, т.е. не совсем соответствует принципу неоптимизированной проверки.

С метаданными  я работать не умею и поэтому  делаю по-другому. Я физически прохожу автооптимизатором один цикл, сохраняю отчеты, картинки и  сеты и только потом перехожу к другому.

Преимущество -

1. я могу и программно и визуально сразу оценивать (сравнивать с предыдущими волк-форвардами) результат  и не дожидаться полного окончания всех циклов, если результат неудовлетворительный (а он чаще всего неудовлетворительный, как известно).

2. при проверке вновь добавленной переменной я просто беру уже сохраненные сеты и проверяю переменную отдельно просто  оптимизируя ее установив сохраненный сет для каждого отрезка . В том числе я могу сделать для нее любую длительность бэка (обычно я проверяю сразу несколько), и необязательно ту, на которой тестировалась основная группа переменных

Недостаток  -приходится повторно проходить одни и те же участки истории, просто уже со сдвигом  и для завершения всех циклов времени надо раза  в три больше, нежели в первом варианте.

В идеале, конечно, надо иметь возможность делать оба способа.  Первый хорош для определения длительности отрезков бэка и форварда. Второй - для работы с кодом, когда меняешь код и тут же оперативно его проверяешь.

 
Youri Tarshecki:

Общие принципы у всех как-бы одинаковые. Исполнение разное.

Насколько я понимаю, есть  основной способ - скрещивать все со всем на всей истории, а собственно, волк-форвард считать по метаданным, т.е., по сути виртуально.

Преимущества - однажды получив все сделки можно свободно играть с отрезками как бэка, так и форварда, перемещая их туда-сюда. Можно свободно выбирать критерии отбора оптимизации(если, конечно, умеешь их считать по метаданным).

Недостатки - пока не получишь весь объем сделок работать невозможно. 

С метаданными  я работать не умею и поэтому  делаю по-другому. Я физически прохожу автооптимизатором один цикл, сохраняю отчеты и  сеты и только потом перехожу к другому.

Преимущество -

1. я могу и программно и визуально сразу оценивать (сравнивать с предыдущими волк-форвардами) результат  и не дожидаться полного окончания всех циклов, если результат неудовлетворительный

2. при проверке вновь добавленной переменной я просто беру уже сохраненные сеты и проверяю переменную отдельно просто  оптимизируя ее установив сохраненный сет для каждого отрезка . В том числе я могу сделать для нее любую длительность бэка (обычно я проверяю сразу несколько), необязательно ту, на которой тестировалась основная группа

Недостаток  -приходится повторно проходить одни и те же участки истории, просто уже со сдвигом  и для завершения всех циклов времени надо раза  в три больше, нежели в первом варианте.

В идеале, конечно, надо иметь возможность делать оба способа.  Первый хорош для определения длительности отрезков бэка и форварда. Второй - для работы с кодом, когда меняешь код и тут же оперативно его проверяешь.

Я правильно понял, что это делается  вручную?
 
Alexey Volchanskiy:
Я правильно понял, что это делается  вручную?
Вручную делать было бы очень трудоемко. Автооптимизатором.
Причина обращения: