Обсуждение статьи "Теория случайных матриц (RMT): Подавление шума в корреляционной матрице для мультивалютных советников"

Опубликована статья Теория случайных матриц (RMT): Подавление шума в корреляционной матрице для мультивалютных советников:

Выборочные корреляционные матрицы могут казаться точными, но при этом в основном состоять из шума. В этой статье реализован алгоритм подавления шума на основе RMT на языке MQL5 без внешних зависимостей: спектральное разложение методом Якоби, отбор собственных значений по распределению Марченко — Пастура и восстановление матрицы с заменой шумовых собственных значений их средним, сохраняющее след матрицы и единичную диагональ. В статье объясняется, как интегрировать этот алгоритм в советник для торговли корзиной инструментов, чтобы очищенная матрица повышала стабильность коэффициентов хеджирования и весов между ребалансировками, а код оставался переносимым и доступным для аудита.

Если вы когда-нибудь создавали мультивалютный торговый советник (EA), использующий корреляцию, — для распределения средств по корзине, фильтрации пар, расчета коэффициента хеджирования или любой другой задачи, в которой корреляционная матрица используется для расчета объема позиций, — вы, вероятно, замечали, что значения колеблются сильнее, чем следовало бы. Если провести ту же оценку корреляции по ценам закрытия понедельника и вторника с использованием одинаковых параметров, матрица всё равно может значительно измениться — даже если никаких структурных изменений не произошло. Это не ошибка в вашем коде. Это свойство самой матрицы.

Выборочная корреляционная матрица, оцененная по конечному окну наблюдений доходностей, содержит шум. При N торговых инструментах и окне ретроспективного анализа длиной T баров, если T не превышает N с достаточным запасом, большая часть измеряемых связей обусловлена ошибкой выборки, а не реальным совместным движением. Если использовать такую зашумленную матрицу напрямую для расчета дисперсии портфеля или объемов позиций в корзине инструментов, результаты будут выглядеть точными — шесть знаков после запятой, аккуратные веса, — хотя на самом деле в них будет преобладать шум оценивания. Эта точность лишь кажущаяся.

В этой статье теория случайных матриц (RMT) рассматривается как практическое решение этой проблемы, реализованное средствами самого MQL5 без ALGLIB и внешних DLL. В частности, мы используем распределение Марченко — Пастура для отделения сигнальных собственных значений от шумовых собственных значений. Затем мы восстанавливаем очищенную матрицу, сохраняя сигнальную структуру и выравнивая остальные собственные значения. Мы рассмотрим математические основы, спектральное разложение методом Якоби, реализованное на MQL5 без внешних библиотек, саму процедуру подавления шума и советник для торговли корзиной инструментов, который использует очищенную матрицу для расчета объемов позиций по четырем коррелирующим инструментам валютного рынка и рынка металлов.


Автор: Olamide Daniel Adebayo

Знаете ли вы, как теория случайных матриц связана с анализом сингулярного спектра (SSA)?
nevar анализом сингулярного спектра (SSA)?

Теоретически теория случайных матриц предсказывает точное распределение сингулярных значений чисто случайной матрицы.

«Примечание: в данной статьеосновное внимание уделяется удалению шума из корреляционной матрицы в качестве этапа предварительной обработки входных данных по рискам. Это не полноценный оптимизатор портфеля...»

Следовательно, этап RMT может предшествовать этапу SSA.

Благодарю вас за подробное изложение методов теории случайных матриц на языке MQL5. Математическая основа представлена интересно, особенно попытка снизить уровень шума в оценках корреляции при управлении рисками портфеля, состоящего из нескольких инструментов.

Однако я считаю, что существует важное различие между повышением статистической устойчивости матрицы корреляций и демонстрацией измеримого торгового преимущества.

Более сглаженная матрица корреляций не обязательно означает более точные оценки будущего риска, более прибыльные сделки или более высокую вероятность положительного чистого ожидаемого дохода.

Буду признателен за ваши технические разъяснения по следующим вопросам:

1. Статистическая и торговая значимость

Проводили ли вы контролируемое вневыборочное сравнение советника на основе RMT и иного, в остальном идентичного советника, использующего необработанную корреляцию Пирсона, экспоненциально взвешенную корреляцию или традиционную оценку с сжатием?

При одинаковых сигналах входа, выходах, лимитах позиций и транзакционных издержках каковы соответствующие чистая ожидаемая прибыль, максимальное падение, коэффициент прибыльности и доходность с поправкой на риск?

2. Вероятность и доверительный интервал

Какова оценочная вероятность положительной чистой ожидаемой прибыли вместе с её доверительным интервалом, основанная на действительно независимых периодах прогона и различных рыночных режимах?

Как вы учитываете серийную зависимость, кластеризацию волатильности и тот факт, что последовательные сделки могут не представлять собой независимые статистические наблюдения?

3. Численная обоснованность

Поскольку этап постобработки принудительно приводит диагональ реконструированной матрицы к значению 1,0, как вы гарантируете, что итоговая матрица корреляций останется положительно полуопределенной?

Проверяет ли советник минимальное собственное значение перед расчётом риска портфеля, и какова резервная процедура, если матрица становится неопределённой?

4. Допущения, относящиеся к реальному рынку

Пороговое значение Марченко–Пастура предполагает независимость наблюдений в рамках своей теоретической нулевой модели, тогда как финансовые доходности характеризуются тяжелыми хвостами, кластеризацией волатильности и изменяющимися во времени корреляциями.

Как вы оцениваете эффективный размер выборки и проверяете пороговое значение собственного значения в этих условиях? Сравнивали ли вы результаты с результатами, полученными с помощью блок-бутстрэпа или режимозависимых симуляций?

5. Практическое обоснование

Для корзины из четырёх инструментов какое измеримое улучшение оправдывает дополнительную сложность собственного разложения Якоби и реконструкции собственных значений по сравнению с более простыми методами управления риском?

Если основным продемонстрированным преимуществом является более низкая скользящая норма Фробениуса, насколько это фактически снижает оборот весовых коэффициентов позиций, реализованное падение стоимости и транзакционные издержки?

На мой взгляд, решающим критерием является не то, дает ли RMT математически более «чистую» матрицу, а то, обеспечивает ли она статистически значимое и экономически значимое улучшение результатов торговли на вневыборочной выборке и снижение риска портфеля.

Мне было бы особенно интересно увидеть воспроизводимое A/B-тестирование, включающее исходные результаты на уровне отдельных сделок и абсолютно одинаковые допущения относительно исполнения для обеих реализаций.

Syamsurizal Dimjati #:

Благодарим вас за подробное изложение методов теории случайных матриц на языке MQL5. Математическая основа представляет большой интерес, особенно попытка снизить уровень шума в оценках корреляции при управлении рисками портфеля, состоящего из нескольких символов.

Однако я считаю, что существует важное различие между повышением статистической устойчивости матрицы корреляций и демонстрацией измеримого торгового преимущества.

Более сглаженная матрица корреляций не обязательно означает более точные оценки будущего риска, более прибыльные сделки или более высокую вероятность положительного чистого ожидаемого дохода.



Этот парень говорит: https://srome.github.io/Eigenvesting-III-Random-Matrix-Filtering-In-Finance/ «Профессор Алан Эдельман из Массачусетского технологического института (MIT) сказал, что некоторые студенты, посещавшие его курс по теории случайных матриц (конспекты) в MIT, бросили учебу и открыли хедж-фонд. Судя по всему, сегодня у них дела идут неплохо» Не знаю, продолжают ли они до сих пор считать деньги, которые заработали с помощью теории случайных матриц :)

Eigen-vesting III. Random Matrix Filtering in Finance
  • 2016.03.30
  • Scott Rome
  • srome.github.io
Eigen-vesting III. Random Matrix Filtering in Finance March 30, 2016 At a talk by Alan Edelman, he said that some students who attended his class on random matrix theory (notes) at MIT dropped out and started a hedge fund. They’re apparently doing pretty well today. In this post, we’re going to introduce random matrix theory and some of its...
nevar #:

Этот парень пишет: https://srome.github.io/Eigenvesting-III-Random-Matrix-Filtering-In-Finance/ «Профессор Алан Эдельман из Массачусетского технологического института (MIT) рассказал, что некоторые студенты, посещавшие его курс по теории случайных матриц (конспекты) в MIT, бросили учебу и открыли хедж-фонд. Судя по всему, сегодня у них дела идут неплохо» Не знаю, продолжают ли они до сих пор считать деньги, которые заработали с помощью теории случайных матриц :)

Привет, Невар,

Это действительно очень вдохновляющий пример! И я считаю, что он точно подчеркивает, почему теория случайных матриц заслуживает серьёзного внимания в количественной торговле.

Интересно не просто то, что некоторые студенты MIT, возможно, превратили математические исследования в успешный хедж-фонд, а то, что сложные математические идеи потенциально могут стать практическим инструментом для понимания финансовых рынков.

Для меня настоящая возможность заключается в том, чтобы продвинуть эту концепцию на шаг дальше.

Вместо того чтобы использовать теорию случайных матриц исключительно для фильтрации исторических корреляций или построения портфеля с минимальной дисперсией, представьте, что её можно интегрировать в адаптивный торговый механизм, работающий с несколькими инструментами, который непрерывно оценивает структуру рынка, изменяющиеся корреляции, режимы волатильности и риск на уровне портфеля.

В этом контексте RMT может стать важным компонентом гораздо более широкой системы принятия решений.

Конечно, настоящий вызов заключается в том, чтобы преобразовать математическую элегантность в измеримые торговые результаты. Более «чистая» матрица корреляций — отличная отправная точка, но конечной целью должно стать более надежное распределение риска, лучшая устойчивость при смене режимов и очевидное улучшение вневыборочных результатов с учетом транзакционных издержек.

Мне было бы особенно интересно изучить, может ли структура собственных значений предоставить полезную информацию о переходах между рыночными режимами, а не рассматривать её исключительно как фильтр статистического шума.

Возможно, следующим шагом станет не просто создание советника, реализующего RMT, а разработка адаптивного механизма анализа рынка, в котором RMT, динамика рынка и надежное управление рисками будут работать в комплексе.

Математика здесь увлекательна. Настоящее приключение заключается в том, чтобы обнаружить, какую часть этого потенциала можно воплотить в по-настоящему устойчивую торговую систему.

Именно здесь, как я полагаю, начинаются самые захватывающие исследования!