Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3083
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(
Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?
Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.
Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?
PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).
У Вас нет результата и на выборке для обучения?
Цикл тех статей - не готовое решение из коробки - никто не будет раскрывать самое ценное в машинном обучении - предикторы. Поэтому, прежде чем пробовать предложенные там методы, нужно разработать набор предикторов, который потенциально может описать поведение цены.
Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(
Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?
Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.
Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?
PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).
а где написано, что они не должны давать рандомный результат? :) обилие одинаковых статей уже предполагает неверно выбранное направление.
обучение с подкреплением не рассчитано на такие задачи, область применения совсем другая. Поиграть с ним можно.Да,
однако большое количество с одинаковыми значениями заставляет меня усомниться в общем качестве данных.
Пример: seq = ([5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5]) = [5,5,5,5,5][5]; [5,5,5,5,5][5]; [5,5,5,5,5][5] ...
Не вижу смысла скармливать модели такие обучающие данные;
Поэтому я все равно отсеиваю все данные, которые не уникальны.
Я могу ошибаться, но мне кажется неправильным также скармливать модели следующие данные для обучения:
[1,2,3,4,5] [5];
[1,2,3,4,5] [6];
[1,2,3,4,5] [7];
[1,2,3,4,5] [8];
...
да вообще какая-то дичь
У Вас нет результата и на выборке для обучения?
Цикл тех статей - не готовое решение из коробки - никто не будет раскрывать самое ценное в машинном обучении - предикторы. Поэтому, прежде чем пробовать предложенные там методы, нужно разработать набор предикторов, который потенциально может описать поведение цены.
а где написано, что они не должны давать рандомный результат? :) обилие одинаковых статей уже предполагает неверно выбранное направление.
обучение с подкреплением не рассчитано на такие задачи, область применения совсем другая. Поиграть с ним можно.Да не работает и на обучающей выборке. Просто нигде. А что такое предикторы в данном случае? У автора описано взятие параметров с графика в виде свечей, времени, и 4-х индикаторов. Модель нейронной сети тоже есть.
Если и на выборке для обучения не работает, то, вероятно, проблема с Вашей стороны. Нейронные сети обучаются долго так то - не то, что модели на деревьях.
Предикторами может быть что угодно, любой фактор влияющий на цену с устойчивым вероятностным исходом, да, как вариант - индикаторы.
Ну и в коде там у автора были ошибки (критичные для не интеловских карт) - пару версий правил по просьбам людей.Если и на выборке для обучения не работает, то, вероятно, проблема с Вашей стороны. Нейронные сети обучаются долго так то - не то, что модели на деревьях.
Предикторами может быть что угодно, любой фактор влияющий на цену с устойчивым вероятностным исходом, да, как вариант - индикаторы.
Ну и в коде там у автора были ошибки (критичные для не интеловских карт) - пару версий правил по просьбам людей.Ну у меня последние статьи (от GoExplore и далее) и с 27 по 35 вроде нормально компилируются и запускаются. Не работали 36-38 это что в тестере обучались. У мена карта от Nvidia GTX 660 ti.
А в чём проблема может быть с моей стороны? У меня совтник компилируется, запускается, процесс обучения (на графике ошибка и прогресс) идёт. А долга это сколько? Автор статей тоже пишет много, надо повторять итерации сбора примеров и обучения, но нигде не пишет никаких хотя бы примерных цифр. К примеру тренировал 500 эпох, начались первые сделки в минус. Ну хоть какая бы конкретика в цифрах. Иначе вообще не понятно, толи много учу и что-то не так, или ещё мало учил и ждать чего либо рано ещё.
Автор в конце каждой статьи приводит график и статистику с тестера стратегий. Ну если статистика вымышленная, тогда да....
Там очень скромные тесты за короткий период, по ним однозначные выводы нельзя сделать. Если даже на обучающей не работает, значит сильно намудрили :) Сам подход непригоден, поскольку процесс такого обучения сложно контролировать. А если найдете правильную ф-ю контроля (ревордов), то он уже и не нужен.
Я пробовал обучать советники из этого цикла генетическим и эволюционным методом (статьи 30 и 31). У автора там стоит 1000 эпох в параметрах. Популяция 50 особей на эпоху как я понимаю. Там при тренировке в лог выводится лучший результат. Дак вот за 200 эпох этот лучший результат не изменился по отношению к начальному. Я ещё ставил популяцию в 100 особей и тренировал около 150 эпох. Эффект тот-же. Поэтому я этот метод бросил и перешёл к более новым.
Совершенно пустое дело тратить время на любые новомодные модели, особенно на сложные.
Идеал RF - простецкая и очень понятная модель. Можно взять еще пару тройку моделей из старых и хорошо апробированных моделей, если в планах есть получать окончательный результат через ансамбль моделей (дает понижение ошибки примерно на 5%).
Мой скепсис объясняется очень просто: наш главный враг - это НЕ стационарность финансовых рынков, т.е. не работает предельная теорема и вся статистика, основанная на ней - разные там корреляции, дисперсии и прочее. Кстати, и оценки вроде RMSE.
Поэтому начинать надо с препроцессинга (дэйтамайнинга). Не получив набор предикторов с достаточно устойчивой связью с целевой (учителем) бессмысленно рассуждать про что угодно. Именно качество этой связки определяет ошибку предсказания и ее стабильность на разных участках котировок. Модель тут вообще не при чем. Если на RF получить примерно одинаковую ошибку предсказания в "выборке" и "вне выборки" менее 20%, то можно попытаться на этом же наборе предикторов и целевой уменьшить ошибку предсказания за счет более продвинутых моделей, ансамбля моделей ..., но это единицы процентов, ради которых нет смысла тратить время еще на что-то кроме RF.
Есть еще одно условие: математическое доказательство стабильности связи предикторов с целевой, т.е. стационарности связи предикторов и целевой с получением дисперсии связи предикторов с целевой и доказательства хотя бы примерной ее стабильности в смысле GARCH.
А разные там "эпохи" и столетия тестирования - пустое, так суетишься, вроде в теме, а бег на месте.