Создайте и разверните консервативную политику, обученную офлайн, используя только MQL5. Записанные сделки образуют фиксированный набор данных для двухслойной Q-сети, обучаемой методом консервативного Q-обучения, который снижает Q-значения действий с недостаточной поддержкой данными, чтобы ограничить ошибку экстраполяции. Советник загружает зафиксированные веса и применяет фильтр обнаружения состояний вне обучающего распределения, используя сохраненную статистику признаков. Это обеспечивает воспроизводимость обучения и исполнения без исследования среды в реальном времени.
Большинство подходов к торговле на основе обучения с подкреплением предполагают, что агент может взаимодействовать с рынком во время обучения: он пробует действие, наблюдает вознаграждение и обновляет свои оценки. В симуляторе это разумно, но на реальном счете опасно: "попробовать действие" означает разместить реальный ордер с реальным проскальзыванием, пока политика еще плохо справляется со своей задачей. Офлайн-обучение устраняет этот риск, но не риск развертывания плохой политики после завершения обучения: зафиксированная политика по-прежнему может торговать неудачно, просто она не может усугубить ситуацию, продолжая экспериментировать.
В этой статье рассматривается иной подход: обучение торговой политики исключительно на фиксированном наборе исторических переходов без дальнейшего взаимодействия с рынком во время обучения. Набор данных — это записи, уже собранные при торговле по стратегии на основе правил, вручную или с помощью ранее использовавшегося советника: состояния, выбранные действия, полученные вознаграждения и последующие состояния. Политика обучается только по этому журналу, а затем развертывается как зафиксированная политика: без исследования среды, без проб и ошибок в реальной торговле и без риска потери денег из-за самого процесса обучения.
Офлайн-обучение важно и для возможности аудита: фиксированный набор данных можно тщательно проверить и повторно обработать до размещения первого ордера, причем каждый переход доступен для проверки в электронной таблице. Для торгового подразделения, которому нужно объяснять работу своих систем комитету по рискам, это оправданный компромисс, хотя политика исследования среды у онлайн-агента постоянно меняется. Однако в статье не показаны формальное версионирование набора данных, журнал начальных значений генератора случайных чисел и параметров или явное разбиение на обучающую и тестовую выборки — поэтому речь скорее о возможности повторного выполнения, чем о полноценном аудите.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Опубликована статья Офлайн-обучение с подкреплением в MQL5: Обучение торговой политики по истории сделок без экспериментов на реальном рынке:
Большинство подходов к торговле на основе обучения с подкреплением предполагают, что агент может взаимодействовать с рынком во время обучения: он пробует действие, наблюдает вознаграждение и обновляет свои оценки. В симуляторе это разумно, но на реальном счете опасно: "попробовать действие" означает разместить реальный ордер с реальным проскальзыванием, пока политика еще плохо справляется со своей задачей. Офлайн-обучение устраняет этот риск, но не риск развертывания плохой политики после завершения обучения: зафиксированная политика по-прежнему может торговать неудачно, просто она не может усугубить ситуацию, продолжая экспериментировать.
В этой статье рассматривается иной подход: обучение торговой политики исключительно на фиксированном наборе исторических переходов без дальнейшего взаимодействия с рынком во время обучения. Набор данных — это записи, уже собранные при торговле по стратегии на основе правил, вручную или с помощью ранее использовавшегося советника: состояния, выбранные действия, полученные вознаграждения и последующие состояния. Политика обучается только по этому журналу, а затем развертывается как зафиксированная политика: без исследования среды, без проб и ошибок в реальной торговле и без риска потери денег из-за самого процесса обучения.
Офлайн-обучение важно и для возможности аудита: фиксированный набор данных можно тщательно проверить и повторно обработать до размещения первого ордера, причем каждый переход доступен для проверки в электронной таблице. Для торгового подразделения, которому нужно объяснять работу своих систем комитету по рискам, это оправданный компромисс, хотя политика исследования среды у онлайн-агента постоянно меняется. Однако в статье не показаны формальное версионирование набора данных, журнал начальных значений генератора случайных чисел и параметров или явное разбиение на обучающую и тестовую выборки — поэтому речь скорее о возможности повторного выполнения, чем о полноценном аудите.
Автор: Adedayo David Gbadebo