А умеют ли ваши ТС (леса и нейросети и пр.) прогнозировать? - страница 6
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Научить нейросеть торговать можно. А вот прогнозировать невозможно. Нейросеть только запоминает те данные которым её учите. Даже именитые прогнозисты всегда попадают пальцем в небо, рынок не предсказуем, следовательно и учить прогнозировать бесполезно.
Если Ваша сеть может только запоминать, то ДА, такая сеть врядли сможет работать. НО если Ваша сеть умеет ОБОБЩАТЬ. То это совсем другое дело и с обучением или запоминанием имеет крайне дальнее сходство.
Почитал и многие сдесь пишут про переобучение, если ВЫ в области МО сталкивались ТОЛЬКО с ним, то и впечатление от НС у Вас соотвественное, но если удавалось поулчить хорошую ОБОБЩОНУЮ модель, то я видел как она читает рынок будь здоров. Покруче любого аналитика. Только вот получить такую модель не так то просто. Её нужно выбрать из нескольких, а критерия выбора нет как такового. Всё выбирается имперически на основании контрольной выборки.
Понять смысл обобщения очень просто, это когда модель работая на м5, безошибочно видит тренды на Н1 как то так....
А Igor Makanu вообще описал классический случай переобучения, сегодня также как вчера. Если Вы в МО видели только это, тогда да НС не для Вас....
Если Ваша сеть может только запоминать, то ДА, такая сеть врядли сможет работать. НО если Ваша сеть умеет ОБОБЩАТЬ. То это совсем другое дело и с обучением или запоминанием имеет крайне дальнее сходство.
Почитал и многие сдесь пишут про переобучение, если ВЫ в области МО сталкивались ТОЛЬКО с ним, то и впечатление от НС у Вас соотвественное, но если удавалось поулчить хорошую ОБОБЩОНУЮ модель, то я видел как она читает рынок будь здоров. Покруче любого аналитика. Только вот получить такую модель не так то просто. Её нужно выбрать из нескольких, а критерия выбора нет как такового. Всё выбирается имперически на основании контрольной выборки.
Понять смысл обобщения очень просто, это когда модель работая на м5, безошибочно видит тренды на Н1 как то так....
А Igor Makanu вообще описал классический случай переобучения, сегодня также как вчера. Если Вы в МО видели только это, тогда да НС не для Вас....
ну вот, сделали меня виновником всех бед... ну раз работает НС - отлично!
ЗЫ: как бы объяснить то, что я вижу в работе НС..на "пальцах"... я уже пытался "скармливать" НС и индикаторы и ... и даже вейвлет преобразования, читал и про распознавание образов НС и про комитеты НС ... и читал, фиг с ним - история давняя, 3 года вообще не садился за mql - бросил
так вот, все что я помню из своих поисков, то что на графиках есть повторяющиеся участки (паттерны, фрагменты, кластеры... - есть), их можно выделить, их можно обучить в НС - но к сожалению эти участки паттерны (так быстрее объяснить) не имеют чередующуюся последовательность - т.е. вот выделили мы 45 паттернов, пронумеровали их (ибо для программы они цифры, а не "голова и плечи" :) ) цифрами 0-44. Потом пробуем найти эти паттерны в форварде, и находим, но появятся неизвестные паттерны и очередность следования паттернов на форварде будет не 0-44, а примерно как {12,37,28,11,44,19...} - они будут перепутаны. .... потом начинаем все это делать но уже без НС используя теорию вероятностей - находим повторяемость каждого паттерна - имеем вероятность возникновения, идем на форвард - имеем другую вероятность ....
и вся эта игра в высшую математику и в НС сводится в банальный пример: вот новая колода карт, мы знаем каждую карту и карты разложены по порядку, потом перемешиваем колоду карт и ... и мы знаем каждую карту, но не можем угадать какая карта будет следующей
ЗЫЗЫЗЫ: свое мнение про НС и гугл я уже писал, могу еще пример: вот все мы любим прогноз погоды посмотреть на гисметево... прогноз красивый, даже по часам расписан,а потом ругаемся, что часто врет прогноз погоды, а потом опять угадывает прогноз погоды - и что дело в гисметево???? ну возьмите другой сайт, будете долго смотреть и там будут ложные прогнозы - увы природные явления сложно спрогнозировать и существующий мат.аппарат и статистические данные работают, но не на 100%
ЗЫЗЫЗЫ: а кто такой МО : "если ВЫ в области МО сталкивались ТОЛЬКО с ним" - гугл выдал Московская обл, я давно уже закончил ВУЗ и с наукой все больше и больше на Вы
ну и еще раз про мое мнение про НС - НС работают на графиках цены также как и индикаторы (наверное так же как и теория вероятности и статистика), они ( НС ) ничем не лучше и ничем не хуже индикаторов - нравится сидеть и обучать НС - ну обучайте, нравится "гонять" в оптимизаторе индикаторы - пожалуйста, результаты работы НС и индикаторов будут примерно одинаковы, но <100%
ну вот, сделали меня виновником всех бед... ну раз работает НС - отлично!
ЗЫ: как бы объяснить то, что я вижу в работе НС..на "пальцах"... я уже пытался "скармливать" НС и индикаторы и ... и даже вейвлет преобразования, читал и про распознавание образов НС и про комитеты НС ... и читал, фиг с ним - история давняя, 3 года вообще не садился за mql - бросил
так вот, все что я помню из своих поисков, то что на графиках есть повторяющиеся участки (паттерны, фрагменты, кластеры... - есть), их можно выделить, их можно обучить в НС - но к сожалению эти участки паттерны (так быстрее объяснить) не имеют чередующуюся последовательность - т.е. вот выделили мы 45 паттернов, пронумеровали их (ибо для программы они цифры, а не "голова и плечи" :) ) цифрами 0-44. Потом пробуем найти эти паттерны в форварде, и находим, но появятся неизвестные паттерны и очередность следования паттернов на форварде будет не 0-44, а примерно как {12,37,28,11,44,19...} - они будут перепутаны. .... потом начинаем все это делать но уже без НС используя теорию вероятностей - находим повторяемость каждого паттерна - имеем вероятность возникновения, идем на форвард - имеем другую вероятность ....
и вся эта игра в высшую математику и в НС сводится в банальный пример: вот новая колода карт, мы знаем каждую карту и карты разложены по порядку, потом перемешиваем колоду карт и ... и мы знаем каждую карту, но не можем угадать какая карта будет следующей
ЗЫЗЫЗЫ: свое мнение про НС и гугл я уже писал, могу еще пример: вот все мы любим прогноз погоды посмотреть на гисметево... прогноз красивый, даже по часам расписан,а потом ругаемся, что часто врет прогноз погоды, а потом опять угадывает прогноз погоды - и что дело в гисметево???? ну возьмите другой сайт, будете долго смотреть и там будут ложные прогнозы - увы природные явления сложно спрогнозировать и существующий мат.аппарат и статистические данные работают, но не на 100%
ЗЫЗЫЗЫ: а кто такой МО : "если ВЫ в области МО сталкивались ТОЛЬКО с ним" - гугл выдал Московская обл, я давно уже закончил ВУЗ и с наукой все больше и больше на Вы
Область Машинного Обучения!!!!
Вы говорите про НС банально. Вы всё думаете что обучение это процесс выучивания патернов сетью, но это не так. Обучение и обобщение совсем разные весчи. Мы обучаем модель обобщать указанные патерны. То есть не зазубривать, а видеть в патерне скрытый смысл. И тогда, при поступлении неизвестного патерна этот скрытый смысл будет доступен модели и она сделает правильное решение. Как то так...
Вы мыслите категориями прошлых лет, сейчас это область получила значительное развитие.... ИМХОТо есть не зазубривать, а видеть в патерне скрытый смысл. И тогда, при поступлении неизвестного патерна этот скрытый смысл будет доступен модели и она сделает правильное решение. Как то так...
Вы мыслите категориями прошлых лет, сейчас это область получила значительное развитие.... ИМХОну если верите в божественное происхождение НС - дело Ваше, вроде не запрещена такая религиозная деятельность
ЗЫ: в этом топике несколько раз пытались сравнить теплое и мягкое, топик про аналитические-прогнозные системы? или все таки про системы управления - видел интернет - крутая штука! там и про гугломобиль показывали и гуглочеловечек обучался ходить в анимашке...
Не знаю, что там такая за ручная стратегия, но в Паммах в лидерах 99% - торговля роботами. а самые доходные 100% автомат. И ни одно нейросети.
Хотя, пока желалающих нет ), можно говорить и на общие темы.
Только увидел тему с задачкой и завис блин на час в раздумьях, лучше бы поспал. Думаю тут нейросеть не нужна.
1)Получить данные например за 100 секунд через 1 секунду(чем меньше дельта времени и больше выборка, тем точнее прогноз).
Если предположить что мы не знаем что это синусоида,тогда в качестве данных будем брать приращения(изменения), а не сами значения.
2)Выбрать неповторяющиеся значения(приращения) с самой высокой частотой появления ,вероятность появления которых выше какого-то порога.
3)проанализируем данные и создадим матрицу переходов(вероятностей) от состояния к состоянию приняв за начальное последнее(ближайшее) по времени.
Ну собственно и всё, чтобы предсказать поведение нам достаточно знать текущее(начальное) состояние(вектор) и мы его знаем, тогда следующее будет результатом умножения начального вектора на матрицу переходов.
Получив таким образом вектора на нужную глубину прогнозирования мы сумируем значения приращений которые соответствуют этим векторам с текущим Y(t)
Если мы хотим спрогнозировать например где будем через 3 секунды от текущего состочния,
то зная текущее значение Y(t) спрогнозируем Y(t+3) сложив значения приращений которые соответствуют максимальным компонентам векторов P(1),P(2),P(3)
где
P(t+1)=P(t)*П
P(t+2)=P(t)*П^2
P(t+3)=P(t)*П^3
или быстрее P(t+1)=P(t)*П; P(t+2)= P(t+1)*П; P(t+3)=P(t+2)*П;
П-матрица приращений.
То есть Y(t+3)=Y(t)+приращение Max(P(t+1))+приращение Max(P(t+2))+приращение Max(P(t+3))
Это всё придумал не я, а два чувака Колмогоров и Чепмен. Я просто попытался тут это объяснить, хотя я ни разу не математик и подозреваю что мало кто что нибудь понял :). ну и наверняка есть решение попроще, это как вариант и то упрощённый.
Можно например суммировать одинаковые приращения в выборке для получения отдельных состояний, тогда дельта времени не будет константой.
Тоже задумывался над этим, как анализируют речь ,ведь по сути она случайна (не случайна конечно но закон не известен). Отличие звуковых сигналов в том, что они гармонические. То есть если разбить звуковой ряд на точки через частоту дискретизации и сложить амплитуду этих точек, то сигнал будет колебаться вокруг 0. Я пробовал так делать)). Явная закономерность присутствует. С рынком не так если приращения сложить, то сигнал не колеблется вокруг 0. Рынок не гармонический. Или можно сделать по другому: Если дискретизировать звук со случайной частотой дискретизации, то он станет не гармоническим и его невозможно станет восстановить. Со звуком дискретизированным случайно, нееросеть врятли справится.
Если свести все к простоте, то если мы дискретизируем синусоиду случайно, то при достаточно большой выборке, можно восстановить ,что это синусоида. Но с речью такое уже не пройдет, по тому что в целом в речи есть закономерности, но нужна будет настолько большая выборка, что это станет невозможным.
Из этого есть 3 вывода:
- рынок закономерен и у него неправильная частота дискретизации, тогда надо найти правильную частоту и уже прогонять через нееросеть
- нужна неприлично большая выборка, то есть нужно обучить сеть на всей тиковой истории, всех торгуемых инструментов за все время существования рынков и тогда удастся получить достаточно высокое качество сигналов. Но нееросеть должна быть очень сложной в таком случае, она должна способна хранить в себе всю полученную информацию. Когда сеть будет давать правильные сигналы на всей доступной истории всего что когда либо торговалось на рынке, тогда будет профит. Но ее все равно нужно будет обучать в реальном времени с каждым новым тиком для поддержания актуальности
- сделать хитрый механизм обучения, который позволит обучаться в реальном времени
Почерк рынка постоянно меняется. Квартал на инструменте - один почерк. Другой квартал - другой. В прошлом году за тот же период по месяцам был третий. Этот год с такой средней волотильностью, Следующий с новой средней волотильностью. Одна сессия с одним почерком, американская - с другим. Может нужно "провода" из огромной кучи выбрать "красные" к красным, "заленые" к "зеленым". Выявить "законы" Лондонской сессии, "законы" американской. Разобрать "огород" по кучкам :) Элементарное движение курса - это результат фиксации обмена с его параметрами. Какая статистика предскажет по истории приход Сороса на рынок, или уход. Я делал поиск по истории предыдущих более-менее похожих комбинаций OHLC и на основании их продолжения пытался предсказывать следующую свечу. Фиг. 50/50. Регулировал степень схожести. Если очень жестко требовал (похожесть 70% и выше), количество сделок стремилось к 0. Даже элементарные, так скажем, блоки, и те редко повторяются в большой степени похожести. "Белый шум" пространства волюнтаристских решений и действий. В общем, это что-то из оперы по калябушкам предсказать войну. Закономерности математики (движение конца шланга с водой под напором) :)), щедро разбавлены спорадическими волюнтаристскими событиями в движении курса. Техническая и Фундаментальная составляющие.
Как бы красиво не рассказывали о НС, но на финансовых рынках она есть не что иное как подгонка под историю, с вытекающими выводами. Обучение НС на самом деле есть оптимизация, как это делается в тестере.