Обсуждение статьи "Неопределённость как модель (Часть 7): Стохастические регрессоры"
Автор понимает основной эконометрический аппарат, но в практическом примере незаметно заменяет предположение доказательством, проекцию — очисткой, структурную оценку — прогнозом, а затем строит на этих подменах категоричные торговые выводы.
В принципе, так делают многие авторы, так что это не претензия, а простая ссылка на 25-ый кадр.
В принципе, так делают многие авторы, так что это не претензия, а простая ссылка на 25-ый кадр.
Ivan Butko #:
Автор понимает основной эконометрический аппарат, но в практическом примере незаметно заменяет предположение доказательством, проекцию — очисткой, структурную оценку — прогнозом, а затем строит на этих подменах категоричные торговые выводы.
В принципе, так делают многие авторы, так что это не претензия, а простая ссылка на 25-ый кадр.
Автор понимает основной эконометрический аппарат, но в практическом примере незаметно заменяет предположение доказательством, проекцию — очисткой, структурную оценку — прогнозом, а затем строит на этих подменах категоричные торговые выводы.
В принципе, так делают многие авторы, так что это не претензия, а простая ссылка на 25-ый кадр.
Спасибо за проявленный интерес к статье.
1) Про "замену предположения доказательством" не совсем понял, хотелось бы уточнения.
2) Проекция и очистка - это синонимы в данном (линейном) случае. Очистка - это неформальный термин, проекция - его математическая суть.
3) Смешение понятий структурного моделирования и прогнозных оценок - результат скомканности финала статьи из-за того, что её объём и так превысил ограничения. Можно разобрать этот вопрос здесь, в комментариях.
Aleksey Nikolayev #:
Спасибо за проявленный интерес к статье.
1) Про "замену предположения доказательством" не совсем понял, хотелось бы уточнения.
2) Проекция и очистка - это синонимы в данном (линейном) случае. Очистка - это неформальный термин, проекция - его математическая суть.
3) Смешение понятий структурного моделирования и прогнозных оценок - результат скомканности финала статьи из-за того, что её объём и так превысил ограничения. Можно разобрать этот вопрос здесь, в комментариях.
1. Речь о валидности выбранного инструмента.
Смысл процедуры в статье такой: объём предыдущего бара используется для оценки текущего объёма, а уже эта оценка подставляется в модель текущего диапазона.
Но для валидности инструмента недостаточно, чтобы прошлый объём был связан с текущим. Нужно ещё, чтобы он не был связан с текущим диапазоном никаким другим путём.
Например, повышенная активность рынка может сохраняться несколько баров подряд. Тогда одно и то же состояние одновременно увеличивает объём прошлого бара, объём текущего бара и диапазон текущего бара. В этом случае прошлый объём связан с текущим диапазоном не только через текущий объём, но и через продолжающееся состояние рынка.
В теоретической части статьи прямо сказано, что экзогенность инструмента нельзя установить по одной выборке и она требует отдельного обоснования. В практической части проверяется связь лага с текущим объёмом, но его экзогенность отдельно не обосновывается. После этого результат DWH уже формулируется как доказанная эндогенность.
То есть валидность инструмента сначала принимается как необходимое допущение, а затем перестаёт фигурировать в выводе, который подаётся как безусловный. Именно это и означает замену предположения доказательством.
2. Проекция и очистка не являются синонимами сами по себе.
Допустим, фактический объём текущего бара равен 1200, а по прошлому объёму и времени суток модель оценила его в 900. Математически установлено только то, что эти 900 объясняются выбранными переменными, а оставшиеся 300 являются остатком.
Из этого ещё не следует, что 900 — "чистая" часть, а 300 — "загрязнение".
Если прошлый объём несёт сохраняющийся режим активности, влияющий и на текущий диапазон, то эта связь останется и внутри расчётных 900. Проекция будет выполнена совершенно корректно, но никакой очистки от эндогенности при этом не произойдёт.
Поэтому проекция — математическая операция, а очистка — содержательная интерпретация её результата. Называть проекцию очисткой можно только при валидном инструменте. Линейность операции этого не доказывает.
3. Скомканность финала не устраняет смешение структурной оценки и прогноза.
Допустим, новостной импульс одновременно увеличивает объём и диапазон бара. Тогда OLS может приписать объёму часть влияния, которое в действительности принадлежит общей причине. В этом смысле коэффициент будет плохо описывать самостоятельное влияние объёма на волатильность.
Но та же связь может оставаться полезной для прогноза. Модель способна неверно отвечать на вопрос, насколько объём вызывает волатильность, и при этом достаточно точно отвечать на вопрос, какой диапазон обычно сопровождает такой объём.
Поэтому из несостоятельности OLS как оценки структурного коэффициента не следует худшее качество его прогнозов. 2SLS может точнее оценивать структурный эффект и одновременно проигрывать OLS по вневыборочной прогнозной ошибке.
Значит, выводы о том, что OLS-прогноз оторван от реальности или будет давать ложные торговые сигналы, требуют отдельного сравнения на данных, не участвовавших в оценке модели. Ограничение объёма статьи объясняет отсутствие такого разбора, но не заменяет саму проверку.
В итоге валидность лага остаётся предположением, инструментальная проекция называется очисткой до подтверждения этого предположения, а вывод о структурной оценке переносится на качество прогноза без отдельной проверки.
Ivan Butko #:
1. Речь о валидности выбранного инструмента.
Смысл процедуры в статье такой: объём предыдущего бара используется для оценки текущего объёма, а уже эта оценка подставляется в модель текущего диапазона.
Но для валидности инструмента недостаточно, чтобы прошлый объём был связан с текущим. Нужно ещё, чтобы он не был связан с текущим диапазоном никаким другим путём.
Например, повышенная активность рынка может сохраняться несколько баров подряд. Тогда одно и то же состояние одновременно увеличивает объём прошлого бара, объём текущего бара и диапазон текущего бара. В этом случае прошлый объём связан с текущим диапазоном не только через текущий объём, но и через продолжающееся состояние рынка.
В теоретической части статьи прямо сказано, что экзогенность инструмента нельзя установить по одной выборке и она требует отдельного обоснования. В практической части проверяется связь лага с текущим объёмом, но его экзогенность отдельно не обосновывается. После этого результат DWH уже формулируется как доказанная эндогенность.
То есть валидность инструмента сначала принимается как необходимое допущение, а затем перестаёт фигурировать в выводе, который подаётся как безусловный. Именно это и означает замену предположения доказательством.
1) Попросите ваш ИИ оставаться в рамках темы и не придумывать какие-то "состояния рынка". У статьи узкая техническая тема - эндогенность (с конкретным примером эндогенности из-за взаимозависимости).
2) В примере мы избавляемся от той части эндогенности, которая появляется из-за двунаправленной причинности - взаимной детерминации объёма и волатильности. Объём с лагом полностью разрывает эту петлю, поскольку нынешняя волатильность не детерминирует прошлый объём в принципе.
3) При некоторой фантазии (из-за упомянутых "состояний") можно предположить, что ваш ИИ ожидал, что мы будем заодно избавляться от эндогенности из-за пропущенных переменных. Но это не так, поскольку привело бы к статье необозримого объёма.
Ivan Butko #:
2. Проекция и очистка не являются синонимами сами по себе.
Допустим, фактический объём текущего бара равен 1200, а по прошлому объёму и времени суток модель оценила его в 900. Математически установлено только то, что эти 900 объясняются выбранными переменными, а оставшиеся 300 являются остатком.
Из этого ещё не следует, что 900 — "чистая" часть, а 300 — "загрязнение".
Если прошлый объём несёт сохраняющийся режим активности, влияющий и на текущий диапазон, то эта связь останется и внутри расчётных 900. Проекция будет выполнена совершенно корректно, но никакой очистки от эндогенности при этом не произойдёт.
Поэтому проекция — математическая операция, а очистка — содержательная интерпретация её результата. Называть проекцию очисткой можно только при валидном инструменте. Линейность операции этого не доказывает.
Это развитие идеи непонятно откуда взявшихся "состояний" из первого пункта.
И да, в нелинейных обобщениях эндогенности "очистка" - это совсем не проекция. А в рамках данной статьи это выглядит лишь как терминологическая придирка.
Ivan Butko #:
В этом есть смысл. Но опять же как и в первом пункте ИИ обратился к идее о необходимости дополнительных переменных ("новости"). Без этого мы остаёмся в рамках сослагательного наклонения (МНК мог бы быть лучше 2МНК, а мог бы и не быть лучше). Это опять та же самая эндогенность из-за пропущенных переменных, только вместо абстрактных "состояний" теперь чуть-чуть более конкретные "новости". При этом, совершенно согласен с тем, что набор предикторов/инструментов в модели нужно (для её практической пользы) расширять, о чём и сообщил в статье в итоговых выводах о модели. Но это опять же всё тот вопрос объёма статьи, который и так превышен примерно на треть.
3. Скомканность финала не устраняет смешение структурной оценки и прогноза.
Допустим, новостной импульс одновременно увеличивает объём и диапазон бара. Тогда OLS может приписать объёму часть влияния, которое в действительности принадлежит общей причине. В этом смысле коэффициент будет плохо описывать самостоятельное влияние объёма на волатильность.
Но та же связь может оставаться полезной для прогноза. Модель способна неверно отвечать на вопрос, насколько объём вызывает волатильность, и при этом достаточно точно отвечать на вопрос, какой диапазон обычно сопровождает такой объём.
Поэтому из несостоятельности OLS как оценки структурного коэффициента не следует худшее качество его прогнозов. 2SLS может точнее оценивать структурный эффект и одновременно проигрывать OLS по вневыборочной прогнозной ошибке.
Значит, выводы о том, что OLS-прогноз оторван от реальности или будет давать ложные торговые сигналы, требуют отдельного сравнения на данных, не участвовавших в оценке модели. Ограничение объёма статьи объясняет отсутствие такого разбора, но не заменяет саму проверку.
В итоге валидность лага остаётся предположением, инструментальная проекция называется очисткой до подтверждения этого предположения, а вывод о структурной оценке переносится на качество прогноза без отдельной проверки.
Ути батюшки. Упоминание ИИ — не возражение, а аварийный выход из спора.
Чего ещё ждать от бестолковых трансляторов учебников: пока формулы переписываются по методичке, всё выглядит научно; как только возникает вопрос к предпосылкам, вместо ответа начинается экспертиза чужого авторства.
У DWH нет параметра "кто сформулировал возражение". Есть условия применимости. И именно на них ответа не последовало.
1. Фраза о том, что лаг "полностью разрывает петлю", доказывает только невозможность путешествия во времени: текущая волатильность не может изменить объём предыдущего бара. С этим никто не спорил.
Но для валидности инструмента требуется больше. Прошлый объём не должен быть связан с неучтёнными причинами текущей волатильности.
Простейший пример: повышенная активность продолжается несколько баров. Она увеличивает объём прошлого бара и одновременно влияет на диапазон текущего. Текущая волатильность не вызывала прошлый объём, однако оба показателя связаны общей продолжающейся причиной. Следовательно, лаг устраняет один конкретный путь обратной причинности, но не доказывает собственной экзогенности. Объявить после этого инструмент полностью валидным — всё равно что запереть одну дверь и торжественно отчитаться об отсутствии входов.
Особенно комично объявлять такие причины выдуманными, когда пропущенные переменные, автокорреляция и смена режимов перечислены в самой статье))) Пока они украшают теоретическую часть — они существуют. Как только мешают практическому выводу — их, оказывается, придумал ИИ.
Если статья рассматривает только непосредственное обратное влияние текущей волатильности на текущий объём, то и вывод должен быть соответствующим: один возможный источник эндогенности устранён лагом. Но тогда исчезают основания для широких заявлений о доказанной эндогенности, полной очистке и несмещённом торговом прогнозе.
Узкий эксперимент не становится широким доказательством от уверенности транслятора.
2. Проекция и очистка — не синонимы.
Проекция отвечает на простой вопрос: какая часть текущего объёма объясняется выбранным инструментом?
Очистка содержит дополнительное утверждение: объяснённая часть больше не связана с ошибкой основной модели.
Первое получается вычислением. Второе требует валидности инструмента.
Если инструмент невалиден, проекция всё равно будет рассчитана совершенно корректно. Только эндогенность останется внутри полученного результата. Геометрия сработает, очистка — нет. Поэтому проекция — операция, а очистка — обещание свойства результата. Линейность обещаний не исполняет.
Можно, конечно, заранее назвать любую проекцию очисткой. Но переименование не является доказательством. Иначе достаточно назвать остаток "токсичным шумом", объяснённую часть — "чистым импульсом", и эконометрика завершена: всё ненужное побеждено словарём.
3. По прогнозу ответ фактически подтвердил возражение.
Фраза "МНК мог бы быть лучше 2МНК, а мог бы и не быть лучше" означает ровно одно: прогнозное превосходство 2МНК не установлено.
Но в статье OLS-прогноз уже объявлен оторванным от реальности, хотя:
1) фактическая ошибка двух прогнозов не сравнена
2) вневыборочной проверки нет
3) торговая результативность не проверена
То есть сначала признаётся, что неизвестно, какой прогноз лучше, а затем сохраняется вывод, будто это уже известно.
Ограничение объёма статьи объясняет отсутствие проверки, но не заменяет её. Если доказательство не поместилось, вместе с ним не помещается и доказанный вывод. Лимит символов — редакционное обстоятельство, а не статистический критерий.
И ещё о «новостях». Это был не совет добавить новости в набор предикторов, а простейший контрпример к безусловной валидности лага: одна общая причина может повлиять и на прошлый объём, и на текущий диапазон. Для опровержения всеобщего утверждения достаточно одного возможного альтернативного пути связи. Не нужно сперва переписывать модель, публиковать вторую статью и получать разрешение на существование общей причины.
Подмена контрпримера предложением "добавить ещё одну переменную" — ответ на вопрос, которого никто не задавал. Контрпример не обязан улучшать модель. Его задача скромнее и неприятнее: показать, что доказательство не состоялось.
То же самое с "сослагательным наклонением". Критике не требуется доказывать, что МНК непременно лучше. Бремя доказательства лежит на том, кто уже объявил его прогноз оторванным от реальности. После признания "мог бы быть лучше, а мог бы и не быть" категорический вывод статьи превращается в обычное "неизвестно".
Итог простой:
- разрыв одного пути обратной причинности выдан за полную валидность инструмента;
- обычной проекции присвоено недоказанное свойство очистки;
- структурная оценка подменена прогнозной;
- отсутствие проверки прикрыто объёмом статьи;
- отсутствие ответа на аргумент — упоминанием ИИ!!
Колкость горе-транслятора может украсить уход от вопроса. Ответом она от этого не становится.
Ivan Butko #:
Упоминание ИИ — не возражение, а аварийный выход из спора.
Упоминание ИИ — не возражение, а аварийный выход из спора.
Было указано на конкретные галлюцинации в ответах ИИ.
Ivan Butko #:
Чего ещё ждать от бестолковых трансляторов учебников: пока формулы переписываются по методичке, всё выглядит научно; как только возникает вопрос к предпосылкам, вместо ответа начинается экспертиза чужого авторства.
Чего ещё ждать от бестолковых трансляторов учебников: пока формулы переписываются по методичке, всё выглядит научно; как только возникает вопрос к предпосылкам, вместо ответа начинается экспертиза чужого авторства.
Надо полагать полны толка трансляторы ответов от ИИ, добавивших галлюцинации к тем же учебникам.
Ivan Butko #:
У DWH нет параметра "кто сформулировал возражение". Есть условия применимости. И именно на них ответа не последовало.
У DWH нет параметра "кто сформулировал возражение". Есть условия применимости. И именно на них ответа не последовало.
У DWH есть входные параметры, куда входит набор инструментальных переменных. Если среди них нет связанных с "состоянием рынка" или "новостями", то он никак не поможет с обнаружением эндогенности по причине пропуска этих данных в модели.
В остальном тексте нет ничего по существу темы статьи что не было бы уже прокомментировано.
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Опубликована статья Неопределённость как модель (Часть 7): Стохастические регрессоры:
Материал — практическое руководство по множественной регрессии со стохастическими факторами в алготрейдинге с акцентом на эндогенность. Показаны EDA/CDA-приёмы, тест Дарбина—Ву—Хаусмана и двухэтапный МНК для получения состоятельных коэффициентов. Все расчёты реализованы в MQL5 и проверены на внутридневной волатильности EURUSD. Читатель получит рабочий конвейер для выявления эндогенности и корректной спецификации моделей.
Практически полезные для трейдинга модели немыслимы без стохастических регрессоров: цен, индикаторов или макроэкономических новостей. Однако использование таких предикторов приводит к неизбежным проблемам, наиболее опасной из которых является эндогенность — нарушение независимости между факторами и ошибкой модели. Пренебрежение этой проблемой критически опасно. Ложные корреляции между признаками и скрытым рыночным шумом создают на бэктесте иллюзию "грааля", а в реальной торговле приводят к просадке депозита.
Простой переход к сложным алгоритмам машинного обучения не решает эту проблему. Без понимания структуры связей между признаками, целевой переменной и ошибкой нелинейные модели сильнее переобучаются на "токсичном" шуме. Даже современные продвинутые ИИ-системы, включая большие языковые модели (LLM), регулярно сталкиваются с проявлениями эндогенности в обучающих выборках. На борьбу с ними ИТ-гиганты тратят колоссальные интеллектуальные и материальные ресурсы.
Изучение классического линейного варианта эндогенности и метода 2SLS — это наиболее простой способ вникнуть в суть проблемы и защитить свои торговые стратегии от скрытых рыночных капканов. В этой статье мы сначала рассмотрим причины эндогенности, затем научимся её обнаруживать с помощью DWH-теста и, наконец, исправлять при помощи двухэтапного МНК на практическом примере.
Автор: Aleksey Nikolayev