Обсуждение статьи "Конвейеры обработки данных (пайплайны) в MQL5"

Новый комментарий
 

Опубликована статья Конвейеры обработки данных (пайплайны) в MQL5:

В этой статье рассмотрим ключевой этап подготовки данных для машинного обучения, который быстро приобретает все большее значение. Конвейеры предварительной обработки данных. По сути, это упрощенная последовательность этапов преобразования данных, на которых происходит подготовка исходных данных перед их передачей в модель. Какой бы неинтересной она ни показалась непосвященным на первый взгляд, такая «стандартизация данных» не только экономит время обучения и затраты на выполнение, но и в значительной степени способствует более качественному обобщению. В этой статье сосредоточимся на некоторых функциях предварительной обработки SCIKIT-LEARN и, хотя мы не будем использовать Мастер MQL5, вернемся к нему в последующих статьях.

Библиотека SCIKIT-LEARN в Python во всех отношениях общепринятым отраслевым стандартом в области предварительной обработки данных для машинного обучения. Написав минимальное количество кода, разработчики могут применять инструмент Standard-Scaler для центрирования признаков, инструмент масштабирования Min-Max-Scaler для сжатия признаков в пределах фиксированного диапазона, инструмент масштабирования Robust-Scaler, который служит для уменьшения чрезмерного скопления выбросов, или средство кодирования One-Hot-Encoder, которое помогает преобразовывать признаки в бинарные представления. Более того, класс конвейера у SCIKIT-LEARN позволяет беспрепятственно объединять эти этапы в единую цепочку, и это означает, что все наборы данных, передаваемые в модель, проходят одинаковую последовательность преобразований. Этот модульный механизм типа «подключи и работай» способствовал быстрому внедрению машинного обучения в самых разных отраслях.

В то же время разработчиков MQL5 обескураживает совершенно иная реальность. Хотя язык MQL5 относительно эффективен в обработке торговых данных, он по-прежнему не предоставляет встроенные методы предварительной обработки, сравнимые с SCIKIT-LEARN. Для каждого преобразования — будь то масштабирование, кодирование или даже заполнение пропущенных значений — кодирование приходится выполнять вручную и часто фрагментарно. Это не только повышает вероятность внесения ошибок, но и затрудняет воспроизведение результатов тестирования или поддержание согласованности между обучающими и тестовыми данными.

Решение, по моему мнению, может заключаться в проектировании класса конвейера предварительной обработки в MQL5, который воспроизводит концептуальный подход SCIKIT-LEARN. Если мы сможем реализовать такие многократно используемые модули, как CStandardScaler, CMinMaxScaler, CRobustScaler и COneHotEncoder, то сможем объединить конвейер предварительной обработки в контейнер. Такая структура обеспечит систематическую подготовку исходных данных финансовых временных рядов перед их использованием в моделях глубокого обучения. Это будет справедливо независимо от того, написаны модели изначально на языке MQL5 или импортированы через ONNX. Используя такой подход, разработчики MQL5 могут адаптировать привычный для Python рабочий процесс к MQL5, что открывает возможности для более эффективного экспериментирования, ускорения разработки и, предположительно, создания более надежных систем искусственного интеллекта.


Автор: Stephen Njuki

Новый комментарий