Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3721

 
Aleksey Nikolayev #:

Проблему нестационарности во всей её широте не решает ничто. Возможны лишь некие прикидки.

1) Стационарность/нестационарность - это не свойство конкретных рядов. Это свойство моделей (случайных процессов), которые предполагается использовать для анализа этих рядов. Один и тот же ряд вполне может рассматриваться одновременно в рамках стационарной и нестационарной моделей.

2) Нестационарность принципиально необозрима. Можно образно представить все нестационарные случайные процессы как бесконечный океан, в котором находится крошечный островок стационарности. В этой аналогии доступная к изучению нестационарность будет всего лишь небольшой прибрежной отмелью, окружающей островок стационарности. По сути, нашему анализу недоступна нестационарность, которая не сводится каким-то образом к стационарности. Очевидно, такая сводимая нестационарность тоже бесконечно мала по объёму в сравнении с несводимой.

К сожалению именно нестационарность ряда и убивает результат работы любой стратегии со временем. Разве нет?
 
Aleksey Nikolayev #:

Проблему нестационарности во всей её широте не решает ничто. Возможны лишь некие прикидки.

1) Стационарность/нестационарность - это не свойство конкретных рядов. Это свойство моделей (случайных процессов), которые предполагается использовать для анализа этих рядов. Один и тот же ряд вполне может рассматриваться одновременно в рамках стационарной и нестационарной моделей.

2) Нестационарность принципиально необозрима. Можно образно представить все нестационарные случайные процессы как бесконечный океан, в котором находится крошечный островок стационарности. В этой аналогии доступная к изучению нестационарность будет всего лишь небольшой прибрежной отмелью, окружающей островок стационарности. По сути, нашему анализу недоступна нестационарность, которая не сводится каким-то образом к стационарности. Очевидно, такая сводимая нестационарность тоже бесконечно мала по объёму в сравнении с несводимой.

Как-то все черным-черно и безнадегой погоняет....

Согласен, что проблему нестационарности как таковую скорее всего на сегодня не решить.

Но следует решать ее по частям.

Предикторы.

Берем в исходном виде, или требуется предобработка. какова цель предобработки и каковы критерии качества?

Связь с предикторов с целевой.

Кто-нибудь строил гистограмму этой связи? Какие критерии "хорошей" связи?

Вероятность предсказания класса.

Кто-нибудь строил гистограммы этих вероятностей? Я строил и получил удивительные и необъяснимые результаты.

А именно.

Исходный учитель Long-Short поделен на два - Long-Out, Short-Out. Казалось бы, зеркальные целевые переменные. Но. Гистограмма вероятности предсказания одной целевой переменной что-то похожее на колокольчик, а второй что-то типа корыта. Почему? Что лучше и как повлиять.

Обычный подход разбиения на части  здесь нет места простому усложнению модели. если берем более сложную модель, то она должна решать конкретную идентифицированную проблему.     

 Не видел публикаций, в которых бы рассказывали, что нужно делать то -то и то-то и указывали критерии отбора. Обычный подход: меняем, оцениваем весь пароход, а потом меняем и сравниваем оценки все парохода. Это не решение конкретных идентифицированных проблем нестационарности, Кстати в отлии от подхода гарч.

 
СанСаныч Фоменко #:

 Не видел публикаций, в которых бы рассказывали, что нужно делать то -то и то-то и указывали критерии отбора. Обычный подход: меняем, оцениваем весь пароход, а потом меняем и сравниваем оценки все парохода. Это не решение конкретных идентифицированных проблем нестационарности, Кстати в отлии от подхода гарч.

Нужно сделать матчинг паттернов и посмотреть сколько всего паттернов вы имеете в данных и как часто они повторяются. Там будет ответ на все вопросы. То есть просто посмотреть на данные. Если они не повторяются (а они не повторяются), то обобщать нечего и это не проблема МО. Остаются увлекательные курва-зафиты.

Нестационарность можно определить через увеличение кол-ва признаков с увеличением кол-ва наблюдений, для аккуратных зафитов. На форе количество признаков всегда растет с увеличением истории.
 
Maxim Dmitrievsky #:
Нужно сделать матчинг паттернов и посмотреть сколько всего паттернов вы имеете в данных и как часто они повторяются. Там будет ответ на все вопросы. То есть просто посмотреть на данные. Если они не повторяются (а они не повторяются), то обобщать нечего и это не проблема МО. Остаются увлекательные курва-зафиты.

Нестационарность можно определить через увеличение кол-ва признаков с увеличением кол-ва наблюдений, для аккуратных зафитов. На форе количество признаков всегда растет с увеличением истории.

Что значит "паттерны"?

В деревянных моделях - это дерево и они не повторяются. Но есть другое наблюдение над рэндом форест.

При выборке 1500 бвр количество досточно 70 деревьев, после чего ошибка стабилизируется. Интересно другое, что еси брать более 1500 бар, например, 5000, то все равно хватает 70 деревьев. Правда не понятно, это те же деревья или другие? есть подозрения, что это другие деревья, т.е. наблюдается "нестационарность" деревьев из-за чего и не работает при прогоне окна вне выборки.

 
СанСаныч Фоменко #:

Что значит "паттерны"?

В деревянных моделях - это дерево и они не повторяются. Но есть другое наблюдение над рэндом форест.

При выборке 1500 бвр количество досточно 70 деревьев, после чего ошибка стабилизируется. Интересно другое, что еси брать более 1500 бар, например, 5000, то все равно хватает 70 деревьев. Правда не понятно, это те же деревья или другие? есть подозрения, что это другие деревья, т.е. наблюдается "нестационарность" деревьев из-за чего и не работает при прогоне окна вне выборки.

Мы не рассматриваем всякие модели. Только ценовые паттерны, думаю, что это не нужно объяснять.

Там больше от настроек глубины деревьев зависит, чем от их количества. Количество уменьшает переобучение, если это возможно. Если при увеличении выборки нужна бОльшая глубина дерева, то ряд тоже нестационарный, по аналогии с ситуацией с растущим количеством признаков. Это уже показывает, что занимаемся курвафитингом и пи-хакингом.
 
СанСаныч Фоменко #:

Как-то все черным-черно и безнадегой погоняет....

Согласен, что проблему нестационарности как таковую скорее всего на сегодня не решить.

Но следует решать ее по частям.

Предикторы.

Берем в исходном виде, или требуется предобработка. какова цель предобработки и каковы критерии качества?

Связь с предикторов с целевой.

Кто-нибудь строил гистограмму этой связи? Какие критерии "хорошей" связи?

Вероятность предсказания класса.

Кто-нибудь строил гистограммы этих вероятностей? Я строил и получил удивительные и необъяснимые результаты.

Не существует конструктивного определения нестационарности - это просто отсутствие стационарности.

Нет универсальных методов работы с нестационарностью. Например, построение гистограммы по выборке не имеет смысла, если выборка не i.i.d., то есть не стационарна - если нет распределения общего для всех элементов выборки, то гистограмма не может быть приближением для чего либо.

Единственная возможность - эмпирически угадать модель нестационарности, пригодную на практике. Здесь главная проблема в том, что подавляюшая часть нестационарностей немоделируема в принципе.

 
Mihail Marchukajtes #:
К сожалению именно нестационарность ряда и убивает результат работы любой стратегии со временем. Разве нет?
Так. Просто математический подход к любой проблеме не работает без уточнения формулировок.