Такой тест говорит что стратегия не надёжная? - страница 3

[Владимир]

papaklass:

Вроде и буквы русские писал и на русском языке сказал, что как только Вы переходите к КОЛИЧЕСТВЕННЫМ характеристикам, так Вы сразу начинаете заниматься ПОДГОНКОЙ. Что не ясно?

Причем здесь ВЕЛИЧИНА уровня? Да какая разница какая у уровня ВЕЛИЧИНА? Важно, что цена вернулась к этому уровню. Все!!! Не важно через сколько дней.

Не важно на сколько пунктов цена ушла после пробития уровня. Важно, что она вернулась!!! На таких параметрах нужно строить экспертов, а не оптимизациях и форвард-прогонах.

Теперь понятно. 

У нас что все эксперты строятся на стратегии пробития/отскока от уровней что-ли! У вас просто частный случай. От одного уровня отскочит цена, а другой пробьёт. Что есть уровень? Тоже цена, некая численная характеристика! Такая же, скажем, как средняя МА или период Стохастика. Вы решили, что это некая качественная характеристика, а для другого гораздо важнее та же периодичность (для волновиков, например). Что есть оптимизация? Компьютерный перебор параметров. Вы посмотрели на график и увидели уровень, то есть некую цену. То есть в голове сделали оптимизацию с одним параметром, ценой! Опять же на исторических данных. Это есть попытка заменить компьютер, то есть вернуться в методологию 30-летней давности. Там всё паттерны искали "хорошие": голова - плечи, блюдце, уровни те же самые и т.д.

[Владимир]

papaklass:

Я пробитие уровня привел в качестве примера. И на этом примере показал разницу в подходах: КОЛИЧЕСТВЕННОМ И КАЧЕСТВЕННОМ. Но судя по всему зря. Продолжайте оптимизировать параметры и дальше. Удачи.

Ну почему же зря! Мы же тут не вдвоём. Возможно, многим вашим подход более понравиться. Да и возможности компьютеров возрастают. Кто знает, может они (компьютеры) тоже научатся "качественной" оценки параметров ТС.

[JohnyPipa]

papaklass:
 С некоторых пор, я не рассматривают тестирование советника на предмет прибыли. Я смотрю как он работает в разных условиях. То есть проверяю его качественную составляющую, а не количественную. 

То есть прибыль как показатель нафик! А вот если качественно и стабильно сливает то это кул! =) Хотя если он качественно и стабильно сливает можно его инвертировать по входам, и вот он грааль 8=0!

П.С. Сорри за сарказм

[Yury Reshetov]

Laryx:

Любой советник содержит параметры, к которе нужно оптимизировать.

И любой советник - это есть 100% подгонка, поскольку он всегда испытывается на исторических данных.

И то, и другое - вовсе не мешает делать прибыльные советники.  

В чем обман-то ?  

См.

1. Переобучение
2. Скользящий контроль (форвардные тесты)

В частности:

1. Минимизация эмпирического риска (минимальная ошибка, т.е. максимальный результат на обучающей выборке) не гарантирует, что вероятность ошибки на тестовых данных будет мала.
2. Переобучение появляется именно вследствие минимизации эмпирического риска.
3. Переобучение связано с избыточной сложностью используемой модели. Всегда существует оптимальное значение сложности модели, при котором переобучение минимально.

Проще говоря, всегда существует упрощенная ТС, которая  после оптимизации даст наиболее приемлемые результаты вне выборки.

[Georgiy Merts]

papaklass:

 Оптимизация - это подбор параметров по значению. Например период МА (12, 16, 24 .....). Вот подбор этих значений параметров и является обманом. Подбирая количественные значения параметров, Вы пытаетесь рынок подстроить под себя. Вы считаете, что если на историческом участке оптимизации рынок выдал оптимальный вариант значения МА = 24, то и дальше рынок должен поступать также. Но это не так. И Вы прекрасно об этом знаете, но все-равно оптимизируете и подбираете количественные значения параметров. Вот это я и считаю самообманом.

Вы правы. Но где ж тут "самообман" ???

Вы подбираете значения, которые наиболее точно отвечают поведению рынка, и считаете, что рынок и далее будет вести себя также. 

И, понятное дело, что это - только ваша гипотеза, в реальности - это не так, рынок обязательно рано или поздно изменится.

Однако, все же, изменения поведения рынка происходят не настолько быстро, чтобы их нельзя было использовать, и их успешно используют.

Не вижу тут никакого "самообмана". Вижу выделение закономерности, и ее использование, причем, мы помним, что в любой момент закономерность может перестать действовать. 

 Если же в своем советнике я введу параметр возврат к уровню, а не параметр количество дней через которые вернется цена, то это не будет подгонкой и не будет самообманом. Мой параметр на качественном уровне характеризует рынок, а не на количественном.

 

Здраствуйте. Где же не количественном ? Вы ввели параметр "возврат к уровню, отличающемуся от достигнутого на ноль пунктов. С таким же успехом параметр может быть и на "десять пунктов", и "через десять дней". Это все тот же подборный параметр. Я о том и сказал, что не бывает советников без параметров. Любая выведенная закономерность как-то описывается, с помощью каких-то параметров.

Когда Вы вводите качественные параметры, Вы подстраиваетесь под рынок. Когда Вы подбираете количественные значения параметров, Вы рынок пытаетесь подстроить под себя. Поэтому, оптимизация - самообман. 

Не... Мне кажется, разница между качественными и количественными  параметрами - илюзорна. Одно - часть другого и наоборот. "Переход количества в качество" - это суть субъективная оценочная категория, когда один орех - это не куча, два - не куча, три - вроде еще не куча, а четыре - уже, наверно, куча, потому, что их можно сложить в форме вершин тетраэдра. Но по сути, это три и четыре ореха - "качественное изменение" - это просто частный случай количественного.