Обсуждение статьи "Низкочастотные количественные стратегии в MetaTrader 5: (Часть 1) Настройка OLAP-ориентированного хранилища данных"

Новый комментарий
 

Опубликована статья Низкочастотные количественные стратегии в MetaTrader 5: (Часть 1) Настройка OLAP-ориентированного хранилища данных:

В статье описывается практический конвейер данных для количественного анализа на базе хранилища Parquet, партиционирования по схеме Hive и DuckDB. Подробно рассматривается перенос выбранных таблиц SQLite в Parquet, структурирование рыночных данных по источнику, символу, таймфрейму и дате, а также запросы к ним с помощью оконных функций SQL. Пример Golden Cross иллюстрирует оценку будущей доходности по нескольким символам. Прилагаемые скрипты Python отвечают за загрузку данных, преобразование и выполнение.

Мы только что завершили серию статей, в которой представили базовые концепции статистического арбитража для среднего розничного трейдера, имеющего лишь обычный ноутбук, стандартное интернет-соединение и ограниченный капитал. Чтобы это было возможно, мы сохраняем фокус на низкочастотных стратегиях возврата к среднему, предполагая, что высокочастотная торговля (HFT) остаётся капиталоёмкой областью, обычно доступной институциональным участникам. Надеемся, нам удалось показать, что розничные трейдеры могут добиться успеха в низкочастотной количественной торговле при наличии достаточного объёма данных, поскольку необходимая вычислительная мощность уже широко доступна. Достаточно данных — значит достаточно информации для поиска нишевых возможностей. Достаточно вычислительной мощности — значит аппаратное и программное обеспечение, способное обработать данные за требуемое время.

В последней статье той серии, мы предложили использовать специализированную базу данных для анализа данных — бесплатную базу с открытым исходным кодом, которую можно использовать в связке с SQLite в нашем конвейере. Основная идея этого предложения в том, что по мере развития и роста набора данных система OLTP, такая как SQLite, уже не является лучшим инструментом для аналитических задач, хотя на начальном этапе она подходила для демонстрации вводных концепций. Иными словами, по мере движения к реальной торговой системе нам нужен специализированный инструмент анализа данных, и первым, возможно самым важным, нам нужна специализированная OLAP-СУБД.

Теперь, в этой новой серии, которую можно воспринимать как новую главу той же истории, пришло время начать реализацию системы анализа данных, удобной для OLAP. Однако если вы следовали предыдущей серии, запускали инструменты и экспериментировали с предоставленными скриптами и статистическими методами, у вас уже может быть много данных, сохранённых в базе SQLite, и часть этих данных может быть результатами предыдущего анализа, например выводами тестов коинтеграции и системы скоринга. Возможно, вы захотите сохранить ту часть данных, которую необходимо перенести или преобразовать в новую систему. Но даже если эти данные кажутся вам нерелевантными, в будущем вы можете столкнуться с необходимостью импортировать данные из других систем баз данных (Postgres, MySQL и т. д.), включая SQLite. Поэтому наша первая задача в этой новой главе — показать, насколько быстрым и простым может быть такой перенос.


Автор: Jocimar Lopes

Новый комментарий