Обсуждение статьи "Критерий независимости Гильберта-Шмидта (HSIC)" - страница 4
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Вычислительная сложность HSIC на много порядков (с проверками значимости) выше Пирсона, поэтому ожидал результат иной.
Если приращения независимы, а их суммы, вдруг, "зависимы", то это странный результат для столь ресурсоемкого критерия даже в теории.
Ряд полученный как сумма iid не становится зависимым, он теряет свойство стационарности и это не позволяет использовать статистические критерии. То есть посчитать то их формально можно для таких рядов, но они будут выдавать бессмыслицу. Поэтому, что бы получить осмысленный результат, необходимо соблюдать условия накладываемые на такие критерии. Например для корреляции, нужна постоянная дисперсия. У гауссовского СБ ряда дисперсия растет линейно по времени, то есть не является константой, отсюда и" зависимость" АКФ = 0,99, отсюда и "зависимость" HSIC и т.д.
Есть старый добрый ранговый Спирмен для нелинейности. Все же статья серьезнее.
Спирмен послабее будет. Он не найдет многие нелинейные связи. К тому же он только для сравнения двух скалярных величин.
А почему самый интересный вопрос никто не задал? Как этим пользоваться?
Куда впихнуть данные iClose(символ1) и iClose(символ2), чтобы сравнить их?
Хотел сделать сравнение с Пирсоном. Там в коде Пирсон считается по (X1, Y) и по (X2, Y) - независимо.
А потом, при расчете hsic_Gamma_test() X1 и X2 впихиваются в одну матрицу... и выполняется
некоторое 'мистическое спаривание' матрицы X (из двух колонок) с матрицей Y из одной колонки.
Просто так hsic_Gamma_test() нельзя посчитать - по двум одномерным рядам? Ну или
не hsic_Gamma_test(), а хоть что-нибудь, являющееся предметом сей статьи.
Конечно, попробовал сделать у X одну колонку... что-то посчиталось... какой-то результат
есть... Но что это? Если бы мы знали, что это такое, а мы не знаем, что это такое...
Коэффициент корреляции считается независимо для каждой величины, потому что он сравнивает две скалярных случайных величины, а HSIC работает с парами:
Если бы вы просто посчитали корреляцию, то вы бы сделали вывод что данные независимы, но HSIC смог обнаружить нелинейную связь. Разве этого мало?
Просто очень часто утверждается о неких нелинейных связях в биржевых данных, которые очень сложно обнаружить. Ну вот HSIC это инструмент как раз для того что бы количественно обнаружить эти связи.
Ряд полученный как сумма iid не становится зависимым, он теряет свойство стационарности и это не позволяет использовать статистические критерии.
Сомневаюсь, что это должно приниматься по отношению к вычислительно сверх-тяжелым критериям.
При отсутствии потери информации преобразования не должны влиять на результат оценки зависимости.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Обсуждение статьи "Критерий независимости Гильберта-Шмидта (HSIC)"
fxsaber, 2025.05.13 05:46
Утверждение.
Если после преобразования рядов (без потери информации - можно вернуться к начальному состоянию) получаем независимость, то исходные ряды независимы.
Сомневаюсь, что это должно приниматься по отношению к вычислительно сверх-тяжелым критериям.
При отсутствии потери информации преобразования не должны влиять на результат оценки зависимости.
К сожалению это касается большинства статистических методов, как сложных так и попроще. Да что там говорить, 95% методов МО построено на iid предположениях (исключение ARIMA,динамические нейросети, скрытые марковские модели и т.п.). Об этом нужно помнить иначе будем получать бессмыслицу.
95% методов МО построено на iid предположениях
Наверное, есть попытки создания критерия зависимости через МО - тот же подход, но только сам критерий в ONNX-файле.
Наверное, есть попытки создания критерия зависимости через МО - тот же подход, но только сам критерий в ONNX-файле.
Модели МО учатся делать прогноз и если этот прогноз лучше чем "наивный", тогда мы делаем вывод о наличии связи в данных. То есть это косвенное обнаружение связи, без проверки значимости. Критерий независимости, в свою очередь не делает никаких прогнозов, но зато дает статистическое подтверждение обнаруженных зависимостей. Это своего рода две стороны одной медали. В пакете R есть реализация более общего критерия dHSIC. Он включает ту реализацию, что я привел для парной независимости и дополнительно расширяет проверку до совместной независимости.