Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 373
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Выдержка из статьи Решетова, объясняющую работу его RNN.
"В данной статье подробно рассматривается проблема переобучения нейронных сетей, выявляются причины ее появления, и предлагается способ решения данной проблемы.
1. Почему переобучается нейросеть?
С чем связано переобучение нейросетей? На самом деле тому может быть несколько причин:- Количество примеров в обучающей выборке недостаточно, чтобы решать задачи вне выборки.
- Входные данные неравномерно распределены по степени корреляции к выходным данным в различных выборках, что очень часто бывает в случаях обработки нестационарных данных. Например, в обучающей выборке корреляция какого либо входного параметра или нескольких входных параметров по отношению к выходным значениям значительно выше, чем в выборке тестовой или хуже того, коэффициенты корреляции в разных выборках различаются по знаку. Это легко проверить, вычислив коэффициенты корреляции для всех параметров в разных выборках, причем еще до обучения нейросети. И избавиться от этого недостатка тоже достаточно просто, а именно обучающие примеры разложить по выборкам случайным образом.
- Входные параметры не связаны с выходными, т.е. между ними нет никакой причинно-следственной связи – они нерепрезентативны, а соответственно и обучать нейросеть нечему. И проверка на предмет наличия корреляций между входными и выходными данными покажет корреляцию, близкую к нулевой. В этом случае необходимо поискать другие входные данные, на которых и обучать нейросеть.
- Входные данные сильно коррелируют между собой. В этом случае необходимо оставить входные данные с максимальной корреляцией по отношению к выходным, удалив остальные данные, хорошо коррелирующие с оставшимися.
Все вышеописанные причины переобучения и методы их устранения являются общеизвестными, т.к. ранее описывались в различной литературе или статьях, посвященных нейросетевым технологиям. "Только это не нейросеть в полном смысле этого слова, а классификатор ) Потому он и не переобучается, а подгоняются параметры в оптимизаторе. Ничто не мешает также юзать нейросетку в оптимизаторе, с различным кол-вом слоев и разным периодом фич и даже их кол-вом, будет еще лучше
вот почитайте тут еще, там целый Фреймворк ажно https://www.mql5.com/ru/articles/3264
Бендат Дж., Пирсол А.
Прикладной анализ случайных данных: Пер. с англ. - М.: Мир, 1989.
на стр. 126
ПРИМЕР 5.4. НЕКОРРЕЛИРОВАННЫЕ ЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ.
Две случайные величины X и У называют коррелированными, если их корреляционный момент (или, что то же, коэффициент корреляции) отличен от нуля; X и У называют некоррелированными величинами, если их корреляционный момент равен нулю.
Две коррелированные величины также и зависимы. Действительно, допустив противное, мы должны заключить, что µxy =0, а это противоречит условию, так как
для коррелированных величин µxy ≠ 0.
Обратное предположение не всегда имеет место, т. е. если две величины зависимы, то они могут быть как коррелированными, так и некоррелированными. Другими словами, корреляционный момент двух зависимых величин может быть не равен нулю, но может и равняться нулю.
Итак, из коррелнрованности двух случайных величин следует их зависимость, но из зависимости еще не вытекает коррелированность. Из независимости двух величин следует их некоррелированность, но из некоррелированности еще нельзя заключить о независимости этих величин.
http://www.uchimatchast.ru/teory/stat/korell_zavis.php
1. никто и не анализирует корреляцию - речь идет о выборе предикторов.
2. ты своими словами повторил мою мысль тремя страницами ранее - "Зависимость - частный случай корреляции. Если две переменные зависят, то корреляция точно есть. Если корреляция есть, то не обязательно есть зависимость.".
3. кросс-энтропия точно так же как корреляция не даст ответ по наличию функциональной зависимости
Вот тут я ошибся - признаю.
Если случайные величины независимы, то они и некоррелированы, но из некоррелированности нельзя сделать вывод о их независимости.
Если две величины зависимы, то они могут быть как коррелированными, так и некоррелированными.
Только это не нейросеть в полном смысле этого слова, а классификатор ) Потому он и не переобучается, а подгоняются параметры в оптимизаторе. Ничто не мешает также юзать нейросетку в оптимизаторе, с различным кол-вом слоев и разным периодом фич и даже их кол-вом, будет еще лучше
вот почитайте тут еще, там целый Фреймворк ажно https://www.mql5.com/ru/articles/3264
Приведенная цитата относится именно к нейросетям в полном смысле слова, и именно эти проблемы он пытается решить в своей RNN
Ага, и решаются они просто через перебор всех возможных параметров и сравнением с форвардом.. абсолютно то же самое можно делать с НС. Его RNN Точно так же переобучается, мы просто выбираем в оптимизаторе наиболее оптимальные устойчивые параметры, сравнивая бэктест с форвардом.. все точно так же как с НС, только в случае НС нужно будет подбирать не веса а входы-выходы в оптимизаторе.
Если две величины зависимы, то они могут быть как коррелированными, так и некоррелированными.
всё остальное это альтернативщина и гуманитарщина.
Ну наконец то поняли))) Корреляция даёт только линейную зависимость и НС тут не причем, также прошу не путать "корреляция для нелинейной регрессии " и "нелинейную корреляцию", корреляция это:
всё остальное это альтернативщина и гуманитарщина.
Опятьсорокпять....
Вот странный ты человек - выше твоего поста на два сообщения черным по белому написано, что присутствие или отсутствие корреляции вообще не означает наличие зависимости и опять корреляция что то кому то "даёт".
У меня опускаются руки....
Опятьсорокпять....
Вот странный ты человек - выше твоего поста на два сообщения черным по белому написано, что присутствие или отсутствие корреляции вообще не означает наличие зависимости и опять корреляция что то кому то "даёт".
У меня опускаются руки....
Вы утверждали что:
Все МО основано на том, что входящие переменные должны коррелировать с выходной переменной.
Иначе нет смысла ВО ВСЕХ моделях МО.
В Data Mining ВО ВСЕХ МОДЕЛЯХ ОТБОРА ПЕРЕМЕННЫХ ДЛЯ МОДЕЛИ реализован механизм максимальной корреляции входящей переменной и исходящей:
То есть облажались по полной, опозорились.
ЗЫ "присутствие или отсутствие корреляции вообще не означает наличие зависимости" - опять - бред. Корреляция как раз таки показывает наличие ЛИНЕЙНОЙ ЗАВИСИМОСТИ, но бывают и не линейные которые корреляция не показывает.
Вы утверждали что:
То есть облажались по полной, опозорились.
ЗЫ "присутствие или отсутствие корреляции вообще не означает наличие зависимости" - опять - бред. Корреляция как раз таки показывает наличие ЛИНЕЙНОЙ ЗАВИСИМОСТИ, но бывают и не линейные которые корреляция не показывает.
Наслаждаюсь, когда кто-нибудь кого-нибудь научно раскатывает :))
ЗЫ "присутствие или отсутствие корреляции вообще не означает наличие зависимости" - опять - бред. Корреляция как раз таки показывает наличие ЛИНЕЙНОЙ ЗАВИСИМОСТИ, но бывают и не линейные которые корреляция не показывает.
Есть классический пример ложной корреляции - количество людей, у тонувших в бассейнах США прямо и сильно коррелирует с количеством фильмов, в которых сеялся Николас Кейдж.
Корреляция есть - где ЗАВИСИмость?