![Брутфорс-подход к поиску закономерностей (Часть VI): Циклическая оптимизация](https://c.mql5.com/2/57/bruteforce_approach_cyclic_optimization_600x314.jpg)
Брутфорс-подход к поиску закономерностей (Часть VI): Циклическая оптимизация
В этой статье я покажу первую часть доработок, которые позволили мне не только замкнуть всю цепочку автоматизации для торговли в MetaTrader 4 и 5, но и сделать что-то гораздо интереснее. Отныне данное решение позволяет мне полностью автоматизировать как процесс создания советников, так и процесс оптимизации, а также минимизировать трудозатраты на поиск эффективных торговых конфигураций.
![Нейросети — это просто (Часть 55): Контрастный внутренний контроль (CIC)](https://c.mql5.com/2/57/cic-055_600x314.jpg)
Нейросети — это просто (Часть 55): Контрастный внутренний контроль (CIC)
Контрастное обучение (Contrastive learning) - это метод обучения представлению без учителя. Его целью является обучение модели выделять сходства и различия в наборах данных. В данной статье мы поговорим об использовании подходов контрастного обучения для исследования различных навыков Актера.
![Нейросети — это просто (Часть 54): Использование случайного энкодера для эффективного исследования (RE3)](https://c.mql5.com/2/57/random_encoder_for_efficient_exploration_054_600x314.jpg)
Нейросети — это просто (Часть 54): Использование случайного энкодера для эффективного исследования (RE3)
Каждый раз, при рассмотрении методов обучения с подкреплением, мы сталкиваемся с вопросом эффективного исследования окружающей среды. Решение данного вопроса часто приводит к усложнению алгоритма и обучению дополнительных моделей. В данной статье мы рассмотрим альтернативный подход к решению данной проблемы.
![Нейросети — это просто (Часть 53): Декомпозиция вознаграждения](https://c.mql5.com/2/57/decomposition_of_remuneration_053_600x314.jpg)
Нейросети — это просто (Часть 53): Декомпозиция вознаграждения
Мы уже не раз говорили о важности правильного подбора функции вознаграждения, которую используем для стимулирования желательного поведения Агента, добавляя вознаграждения или штрафы за отдельные действия. Но остается открытым вопрос о дешифровке наших сигналов Агентом. В данной статье мы поговорим о декомпозиции вознаграждения в части передачи отдельных сигналов обучаемому Агенту.
![Простая торговая стратегия возврата к среднему](https://c.mql5.com/2/55/Mean_reversion_600x314.jpg)
Простая торговая стратегия возврата к среднему
Возврат к среднему - это метод контртрендовой торговли, при котором трейдер ожидает, что цена вернется к некоторой форме равновесия, которое обычно измеряется средним значением или другим статистическим показателем усредненной тенденции.
![Нейросети — это просто (Часть 52): Исследование с оптимизмом и коррекцией распределения](https://c.mql5.com/2/57/optimistic-actor-critic_600x314.jpg)
Нейросети — это просто (Часть 52): Исследование с оптимизмом и коррекцией распределения
По мере обучения модели на базе буфера воспроизведения опыта текущая политика Актера все больше отдаляется от сохраненных примеров, что снижает эффективность обучения модели в целом. В данной статье мы рассмотрим алгоритм повышения эффективности использования образцов в алгоритмах обучения с подкреплением.
![Теория категорий в MQL5 (Часть 10): Моноидные группы](https://c.mql5.com/2/55/Category_Theory_Part_10_600x314.jpg)
Теория категорий в MQL5 (Часть 10): Моноидные группы
Статья продолжает серию о реализации теории категорий в MQL5. Здесь мы рассматриваем группы моноидов как средство, нормализующее множества моноидов и делающее их более сопоставимыми в более широком диапазоне множеств моноидов и типов данных.
![Нейросети — это просто (Часть 51): Актор-критик, управляемый поведением (BAC)](https://c.mql5.com/2/57/behavior_driven_actor_critic_600x314.jpg)
Нейросети — это просто (Часть 51): Актор-критик, управляемый поведением (BAC)
В последних двух статьях рассматривался алгоритм Soft Actor-Critic, который включает энтропийную регуляризацию в функцию вознаграждения. Этот подход позволяет балансировать исследование среды и эксплуатацию модели, но он применим только к стохастическим моделям. В данной статье рассматривается альтернативный подход, который применим как для стохастических, так и для детерминированных моделей.
![Нейросети — это просто (Часть 50): Soft Actor-Critic (оптимизация модели)](https://c.mql5.com/2/57/NN_50_Soft_Actor-Critic_600x314.jpg)
Нейросети — это просто (Часть 50): Soft Actor-Critic (оптимизация модели)
В предыдущей статье мы реализовали алгоритм Soft Actor-Critic, но не смогли обучить прибыльную модель. В данной статье мы проведем оптимизацию ранее созданной модели для получения желаемых результатов её работы.
![Нейросети — это просто (Часть 49): Мягкий Актор-Критик (Soft Actor-Critic)](https://c.mql5.com/2/56/Neural_Networks_are_Easy_Part_49_600x314.jpg)
Нейросети — это просто (Часть 49): Мягкий Актор-Критик (Soft Actor-Critic)
Мы продолжаем рассмотрение алгоритмов обучения с подкреплением в решении задач непрерывного пространства действий. И в данной статье предлагаю познакомиться с алгоритмом Soft Аctor-Critic (SAC). Основное преимущество SAC заключается в способности находить оптимальные политики, которые не только максимизируют ожидаемую награду, но и имеют максимальную энтропию (разнообразие) действий.
![Нейросети — это просто (Часть 48): Методы снижения переоценки значений Q-функции](https://c.mql5.com/2/56/NN_part_48_600x314.jpg)
Нейросети — это просто (Часть 48): Методы снижения переоценки значений Q-функции
В предыдущей статье мы познакомились с методом DDPG, который позволяет обучать модели в непрерывном пространстве действий. Однако, как и другие методы Q-обучения, DDPG склонен к переоценки значений Q-функции. Эта проблема часто приводит к обучению агента с неоптимальной стратегией. В данной статье мы рассмотрим некоторые подходы преодоления упомянутой проблемы.
![Нейросети — это просто (Часть 47): Непрерывное пространство действий](https://c.mql5.com/2/55/Neural_Networks_Part_47_600x314.jpg)
Нейросети — это просто (Часть 47): Непрерывное пространство действий
В данной статье мы расширяем спектр задач нашего агента. В процесс обучения будут включены некоторые аспекты мани- и риск-менеджмента, которые являются неотъемлемой частью любой торговой стратегии.
![Возможности Мастера MQL5, которые вам нужно знать (Часть 6): Преобразование Фурье](https://c.mql5.com/2/54/fourier_transform_600x314.jpg)
Возможности Мастера MQL5, которые вам нужно знать (Часть 6): Преобразование Фурье
Преобразование Фурье, введенное Жозефом Фурье, является средством разложения сложных волновых точек данных на простые составляющие волны. Эта особенность может быть полезной для трейдеров, и именно ее мы и рассмотрим в этой статье.
![Нейросети — это просто (Часть 46): Обучение с подкреплением, направленное на достижение целей (GCRL)](https://c.mql5.com/2/55/Neural_Networks_Part_46_600x314.jpg)
Нейросети — это просто (Часть 46): Обучение с подкреплением, направленное на достижение целей (GCRL)
Предлагаю Вам познакомиться с ещё одним направлением в области обучения с подкреплением. Оно называется обучением с подкреплением, направленное на достижение целей (Goal-conditioned reinforcement learning, GCRL). В этом подходе агент обучается достигать различных целей в определенных сценариях.
![Нейросети — это просто (Часть 45): Обучение навыков исследования состояний](https://c.mql5.com/2/55/Neural_Networks_Part_45_600x314.jpg)
Нейросети — это просто (Часть 45): Обучение навыков исследования состояний
Обучение полезных навыков без явной функции вознаграждения является одной из основных задач в иерархическом обучении с подкреплением. Ранее мы уже познакомились с 2 алгоритмами решения данной задачи. Но вопрос полноты исследования окружающей среды остается открытым. В данной статье демонстрируется иной подход к обучению навыком. Использование которых напрямую зависит от текущего состояния системы.
![Теория категорий в MQL5 (Часть 7): Мульти-, относительные и индексированные домены](https://c.mql5.com/2/54/Category-Theory-p7_600x314.jpg)
Теория категорий в MQL5 (Часть 7): Мульти-, относительные и индексированные домены
Теория категорий представляет собой разнообразный и расширяющийся раздел математики, который лишь недавно начал освещаться в MQL5-сообществе. Эта серия статей призвана рассмотреть некоторые из ее концепций для создания открытой библиотеки и дальнейшему использованию этого замечательного раздела в создании торговых стратегий.
![Нейросети — это просто (Часть 44): Изучение навыков с учетом динамики](https://c.mql5.com/2/55/Neural_Networks_are_Just_a_Part_600x314.jpg)
Нейросети — это просто (Часть 44): Изучение навыков с учетом динамики
В предыдущей статье мы познакомились с методом DIAYN, который предлагает алгоритм изучения разнообразных навыков. Использование полученных навыкает может быть использовано различных задач. Но подобные навыки могут быть довольно непредсказуемы, что может осложнить из использование. В данной статье мы рассмотрим алгоритм обучения предсказуемых навыков.
![Нейросети — это просто (Часть 43): Освоение навыков без функции вознаграждения](https://c.mql5.com/2/54/NN_Simple_Part_43_600x314.jpg)
Нейросети — это просто (Часть 43): Освоение навыков без функции вознаграждения
Проблема обучения с подкреплением заключается в необходимости определения функции вознаграждения, которая может быть сложной или затруднительной для формализации, и для решения этой проблемы исследуются подходы, основанные на разнообразии действий и исследовании окружения, которые позволяют обучаться навыкам без явной функции вознаграждения.
![Как создать советник, который торгует автоматически (Часть 14): Автоматизация (VI)](https://c.mql5.com/2/51/aprendendo_construindo_014_600x314.jpg)
Как создать советник, который торгует автоматически (Часть 14): Автоматизация (VI)
Здесь мы действительно применим на практике все знания этой серии статей. Наконец мы построим 100% автоматическую и функциональную систему, но для этого нам придется научиться одной последней детали.
![Как построить советник, работающий автоматически (Часть 13): Автоматизация (V)](https://c.mql5.com/2/51/aprendendo_construindo_013_600x314.jpg)
Как построить советник, работающий автоматически (Часть 13): Автоматизация (V)
Знаете ли вы, что такое блок-схема? Умеете ли вы ее использовать? Думаете ли вы, что блок-схемы - это дело начинающих программистов? Тогда я вам предлагаю ознакомиться с этой статьей и узнать, как работать с блок-схемами.
![Многослойный перцептрон и алгоритм обратного распространения ошибки (Часть 3): Интеграция с тестером стратегии - Обзор (I)](https://c.mql5.com/2/51/Perceptron_Multicamadas_e_o_Algoritmo_Backpropagation_600x314.jpg)
Многослойный перцептрон и алгоритм обратного распространения ошибки (Часть 3): Интеграция с тестером стратегии - Обзор (I)
Многослойный перцептрон - это эволюция простого перцептрона, способного решать нелинейно разделяемые задачи. Вместе с алгоритмом обратного распространения можно эффективно обучить данную нейронную сеть. В третьей части серии статей о многослойном перцептроне и обратном распространении мы посмотрим, как интегрировать эту технику в тестер стратегий. Эта интеграция позволит использовать комплексный анализ данных и принимать лучшие решения для оптимизации торговых стратегий. В данном обзоре мы обсудим преимущества и проблемы применения этой методики.
![Теория категорий в MQL5 (Часть 6): Мономорфные расслоенные произведения и эпиморфные кодекартовы квадраты](https://c.mql5.com/2/53/Category-Theory-p6_600x314.jpg)
Теория категорий в MQL5 (Часть 6): Мономорфные расслоенные произведения и эпиморфные кодекартовы квадраты
Теория категорий представляет собой разнообразный и расширяющийся раздел математики, который лишь недавно начал освещаться в MQL5-сообществе. Эта серия статей призвана рассмотреть некоторые из ее концепций для создания открытой библиотеки и дальнейшему использованию этого замечательного раздела в создании торговых стратегий.
![Нейросети — это просто (Часть 42): Прокрастинация модели, причины и методы решения](https://c.mql5.com/2/54/NN_Simple_Part_42_procrastination_600x314.jpg)
Нейросети — это просто (Часть 42): Прокрастинация модели, причины и методы решения
Прокрастинация модели в контексте обучения с подкреплением может быть вызвана несколькими причинами, и решение этой проблемы требует принятия соответствующих мер. В статье рассмотрены некоторые из возможных причин прокрастинации модели и методы их преодоления.
![Поиск свечных паттернов с помощью MQL5](https://c.mql5.com/2/53/how_to_use_mql5_to_detect_candlesticks_patterns_600x314.jpg)
Поиск свечных паттернов с помощью MQL5
В этой статье мы поговорим о том, как автоматически определять свечные паттерны с помощью MQL5.
![Нейросети — это просто (Часть 41): Иерархические модели](https://c.mql5.com/2/54/NN_Simple_Part_41_Hierarchical_Models_600x314.jpg)
Нейросети — это просто (Часть 41): Иерархические модели
Статья описывает иерархические модели обучения, которые предлагают эффективный подход к решению сложных задач машинного обучения. Иерархические модели состоят из нескольких уровней, каждый из которых отвечает за различные аспекты задачи.
![Оборачиваем ONNX-модели в классы](https://c.mql5.com/2/54/ONNX_Models_in_the_Class_600x314.jpg)
Оборачиваем ONNX-модели в классы
Объектно-ориентированное программирование позволяет создавать более компактный код, который легко читать и модифицировать. Представляем пример для трёх ONNX-моделей.
![Нейросети — это просто (Часть 40): Подходы к использованию Go-Explore на большом объеме данных](https://c.mql5.com/2/54/neural_networks_go_explore_040_600x314.jpg)
Нейросети — это просто (Часть 40): Подходы к использованию Go-Explore на большом объеме данных
В данной статье обсуждается применение алгоритма Go-Explore на протяжении длительного периода обучения, так как стратегия случайного выбора действий может не привести к прибыльному проходу с увеличением времени обучения.
![Биржевая сеточная торговля экспертом со стоповыми отложенными ордерами на Московской бирже (MOEX)](https://c.mql5.com/2/54/moex-mesh-trading_600x314.jpg)
Биржевая сеточная торговля экспертом со стоповыми отложенными ордерами на Московской бирже (MOEX)
Использование сеточного торгового подхода на стоповых отложенных ордерах в эксперте на языке торговых стратегий MQL5 для MetaTrader 5 на Московской бирже (MOEX). При торговле на рынке одной из наиболее простых стратегий является сетка из ордеров, предназначенная для «поимки» рыночной цены.
![Нейросети — это просто (Часть 39): Go-Explore — иной подход к исследованию](https://c.mql5.com/2/54/NN_39_Go_Explore_600x314.jpg)
Нейросети — это просто (Часть 39): Go-Explore — иной подход к исследованию
Продолжаем тему исследования окружающей среды в моделях обучения с подкреплением. И данной статье мы рассмотрим ещё один алгоритм Go-Explore, который позволяет эффективно исследовать окружающую среду на стадии обучения модели.
![Как построить советник, работающий автоматически (Часть 12): Автоматизация (IV)](https://c.mql5.com/2/50/aprendendo_construindo_012_600x314.jpg)
Как построить советник, работающий автоматически (Часть 12): Автоматизация (IV)
Если вы думаете, что автоматизированные системы просты, то наверно вы еще не до конца поняли, что нужно для их создания. В данном материале мы поговорим о проблеме, с которой сталкиваются многие советники: неизбирательное исполнение ордеров, и возможное решение этой проблемы.
![Как построить советник, работающий автоматически (Часть 11): Автоматизация (III)](https://c.mql5.com/2/50/aprendendo_construindo_011_600x314.jpg)
Как построить советник, работающий автоматически (Часть 11): Автоматизация (III)
Автоматизированная система без соответствующей безопасности не будет успешной. Однако безопасность не будет обеспечена без хорошего понимания некоторых вещей. В этой статье мы разберемся с тем, почему достижение максимальной безопасности в автоматизированных системах является такой сложной задачей.
![Как построить советник, работающий автоматически (Часть 10): Автоматизация (II)](https://c.mql5.com/2/50/aprendendo_construindo_010_600x314.jpg)
Как построить советник, работающий автоматически (Часть 10): Автоматизация (II)
Автоматизация ничего не значит, если вы не можете контролировать расписание его работы. Ни один работник не может быть эффективным при работе 24 часа в сутки. Несмотря на этот факт, многие считают, что автоматизированная система должна работать 24 часа в сутки. Хорошо всегда иметь возможность задавать временной интервал для эксперта. В этой статье мы обсудим, как правильно установить такой временной интервал.
![Эксперименты с нейросетями (Часть 6): Перцептрон как самодостаточное средство предсказания цены](https://c.mql5.com/2/54/perceptron_600x314.jpg)
Эксперименты с нейросетями (Часть 6): Перцептрон как самодостаточное средство предсказания цены
Пример использования перцептрона как самодостаточного средства предсказания цены. В статье даются общие понятия, представлен простейший готовый советник и результаты его оптимизации.
![Как построить советник, работающий автоматически (Часть 09): Автоматизация (I)](https://c.mql5.com/2/50/aprendendo_construindo_009_600x314.jpg)
Как построить советник, работающий автоматически (Часть 09): Автоматизация (I)
Хотя создание автоматического советника не является очень сложной задачей, однако без необходимых знаний может быть допущено много ошибок. В этой статье мы рассмотрим, как построить первый уровень автоматизации: он заключается в создании триггера для активации безубытка и трейлинг-стопа.
![Нейросети — это просто (Часть 38): Исследование с самоконтролем через несогласие (Self-Supervised Exploration via Disagreement)](https://c.mql5.com/2/54/self_supervised_exploration_via_disagreement_038_600x314.jpg)
Нейросети — это просто (Часть 38): Исследование с самоконтролем через несогласие (Self-Supervised Exploration via Disagreement)
Одной из основных проблем обучения с подкреплением является исследование окружающей среды. Ранее мы уже познакомились с методом исследования на базе внутреннего любопытства. Сегодня я предлагаю посмотреть на ещё один алгоритм — исследование через несогласие.
![Эксперименты с нейросетями (Часть 5): Нормализация входных параметров для передачи в нейросеть](https://c.mql5.com/2/53/neural_network_experiments-p5_600x314.jpg)
Эксперименты с нейросетями (Часть 5): Нормализация входных параметров для передачи в нейросеть
Нейросети наше все. Проверяем на практике, так ли это. MetaTrader 5 как самодостаточное средство для использования нейросетей в трейдинге. Простое объяснение.
![Мультибот в MetaTrader: запуск множества роботов с одного графика](https://c.mql5.com/2/53/launching_multiple_robots_600x314.jpg)
Мультибот в MetaTrader: запуск множества роботов с одного графика
В этой статье мы рассмотрим простой шаблон для создания универсального робота в MetaTrader, который можно использовать на нескольких графиках, но прицепив его лишь к одному графику, без необходимости настройки каждого экземпляра робота на каждом отдельном графике.
![Нейросети — это просто (Часть 37): Разреженное внимание (Sparse Attention)](https://c.mql5.com/2/53/NN_part_37_Sparse_Attention_600x314.jpg)
Нейросети — это просто (Часть 37): Разреженное внимание (Sparse Attention)
В предыдущей статье мы познакомились с реляционными моделями, в архитектуре которых используются механизмы внимания. Одной из особенностей указанных моделей является повышенное использование вычислительных ресурсов. В данной статье будет предложен один их механизмов уменьшения количества вычислительных операций внутри блока Self-Attention. Что позволит увеличить производительность модели в целом.
![Эксперименты с нейросетями (Часть 4): Шаблоны](https://c.mql5.com/2/52/neural_network_experiments-004_600x314.jpg)
Эксперименты с нейросетями (Часть 4): Шаблоны
Нейросети наше все. Проверяем на практике, так ли это. MetaTrader 5 как самодостаточное средство для использования нейросетей в трейдинге. Простое объяснение.
![Нейросети — это просто (Часть 36): Реляционные модели обучения с подкреплением (Relational Reinforcement Learning)](https://c.mql5.com/2/52/Neural_Networks_Made_036_600x314.jpg)
Нейросети — это просто (Часть 36): Реляционные модели обучения с подкреплением (Relational Reinforcement Learning)
В рассмотренных ранее моделях обучения с подкреплением мы использовали различные варианты сверточных сетей, которые способны идентифицировать различные объекты в исходных данных. Основное преимущество сверточных сетей в способности идентифицировать объекты вне зависимости от их расположением. В тоже время, сверточные сети не всегда справляются с различными деформациями объектов и шумом. Но эти проблемы способна решить реляционная модель.