Как измерить шум?

 

Вопрос не в программировании, а скорее философский.

Общеизвестно, что шум очень хорошо измерять, когда известны характеристики сигнала. В нашем же случае, не оч понятно, не только что есть шум, но и что есть сигнал.

Для пипсовщиков это одно, для интрадейщиков другое, для краткосрочников третье. Но они и ловят разные сигналы. И для этих категорий и понятие шума сильно различаются.

Когда мы смотрим на график, то без всяких индикаторов видим - где шум, а где сигнал. Особенно на истории. Более опытные могут и в реал тайме понять, где сигнал превышает шум (я вовсе не говорю, что сделка в этот момент будет удачной, но вероятность такого исхода больше).

Я пытался что-то сделать в этом направлении. Скажем, линии регрессии, кривые регрессии - те-же линии, только в каждой точке производная эквивалентна линии. И относительно них считать шум. Однако человеческий мозг определяет все это если не быстрее, то намного лучше. И там, где автомат решает входить в сделку, человеку кажется, что этого делать совсем не надо, и наоборот, кстати - тоже не редкость. Я обычно при тестировании просматриваю большинство сделок, в том числе и на графиках, и порой думаю - и чего он туда полез. Хотя, да, я ему сам это и сказал.:)

Вот и возникла мысль, что прежде чем измерять что-либо, неплохо бы сформулировать, а что же мы измеряем. Я подозреваю, что когда мы смотрим на график, то каждый раз, в зависимости от ситуации, понятие шума у нас адаптивно меняется. Т.е., мы интуитивно прикидываем несколько вариантов, и выбираем тот, который нас устраивает в данный конкретный момент. И усреднене мы проводим каждый раз по разным критерием - в голове строим несколько линий, и выбираем понравившуюся в данный момент.

Предлагается обсудить в теме, что есть шум, и как с ним бороться, в смысле измерить его характеристики.

 
Yuriy Asaulenko:

Вопрос не в программировании, а скорее философский.

Общеизвестно, что шум очень хорошо измерять, когда известны характеристики сигнала. В нашем же случае, не оч понятно, не только что есть шум, но и что есть сигнал.

Для пипсовщиков это одно, для интрадейщиков другое, для краткосрочников третье. Но они и ловят разные сигналы. И для этих категорий и понятие шума сильно различаются.

Когда мы смотрим на график, то без всяких индикаторов видим - где шум, а где сигнал. Особенно на истории. Более опытные могут и в реал тайме понять, где сигнал превышает шум (я вовсе не говорю, что сделка в этот момент будет удачной, но вероятность такого исхода больше).

Я пытался что-то сделать в этом направлении. Скажем, линии регрессии, кривые регрессии - те-же линии, только в каждой точке производная эквивалентна линии. И относительно них считать шум. Однако человеческий мозг определяет все это если не быстрее, то намного лучше. И там, где автомат решает входить в сделку, человеку кажется, что этого делать совсем не надо, и наоборот, кстати - тоже не редкость. Я обычно при тестировании просматриваю большинство сделок, в том числе и на графиках, и порой думаю - и чего он туда полез. Хотя, да, я ему сам это и сказал.:)

Вот и возникла мысль, что прежде чем измерять что-либо, неплохо бы сформулировать, а что же мы измеряем. Я подозреваю, что когда мы смотрим на график, то каждый раз, в зависимости от ситуации, понятие шума у нас адаптивно меняется. Т.е., мы интуитивно прикидываем несколько вариантов, и выбираем тот, который нас устраивает в данный конкретный момент. И усреднене мы проводим каждый раз по разным критерием - в голове строим несколько линий, и выбираем понравившуюся в данный момент.

Предлагается обсудить в теме, что есть шум, и как с ним бороться, в смысле измерить его характеристики.

Слегка сумбурная постановка вопроса... В связи с этим контрвопрос - а зачем Вам измерять шум? В упрощённой формулировке, всё то, что нельзя идентифицировать, как полезный сигнал, и есть шум. Но опять же, непонятно, для чего Вам понадобилось его измерять?
 
Vladimir Suschenko:
Слегка сумбурная постановка вопроса... В связи с этим контрвопрос - а зачем Вам измерять шум? В упрощённой формулировке, всё то, что нельзя идентифицировать, как полезный сигнал, и есть шум. Но опять же, непонятно, для чего Вам понадобилось его измерять?

Профессиональная привычка. В общем, не вижу ничего сумбурного. Обычная постановочное начало для дискуссии, если кому либо интересно. Заодно и узнаем, интересна-ли кому тема. Попытка не пытка, правда Лаврентий Павлович (с).

При построении систем (торговых систем) я придерживаюсь концепции существования на рынке шума и сигнала. Если кратко, сделки совершаются в моменты превышения уровнем сигнала уровня шума - типа порогового устройства, обычного в тех-же системах управления. Вот для таких систем и необходимо измерение шума и отличительные критерии шума и сигнала.

Если кто на форуме занимается подобным подходом, почему бы и не обсудить.

 
Yuriy Asaulenko:

Вопрос не в программировании, а скорее философский.

Общеизвестно, что шум очень хорошо измерять, когда известны характеристики сигнала. В нашем же случае, не оч понятно, не только что есть шум, но и что есть сигнал.

Для пипсовщиков это одно, для интрадейщиков другое, для краткосрочников третье. Но они и ловят разные сигналы. И для этих категорий и понятие шума сильно различаются.

Когда мы смотрим на график, то без всяких индикаторов видим - где шум, а где сигнал. Особенно на истории. Более опытные могут и в реал тайме понять, где сигнал превышает шум (я вовсе не говорю, что сделка в этот момент будет удачной, но вероятность такого исхода больше).

Я пытался что-то сделать в этом направлении. Скажем, линии регрессии, кривые регрессии - те-же линии, только в каждой точке производная эквивалентна линии. И относительно них считать шум. Однако человеческий мозг определяет все это если не быстрее, то намного лучше. И там, где автомат решает входить в сделку, человеку кажется, что этого делать совсем не надо, и наоборот, кстати - тоже не редкость. Я обычно при тестировании просматриваю большинство сделок, в том числе и на графиках, и порой думаю - и чего он туда полез. Хотя, да, я ему сам это и сказал.:)

Вот и возникла мысль, что прежде чем измерять что-либо, неплохо бы сформулировать, а что же мы измеряем. Я подозреваю, что когда мы смотрим на график, то каждый раз, в зависимости от ситуации, понятие шума у нас адаптивно меняется. Т.е., мы интуитивно прикидываем несколько вариантов, и выбираем тот, который нас устраивает в данный конкретный момент. И усреднене мы проводим каждый раз по разным критерием - в голове строим несколько линий, и выбираем понравившуюся в данный момент.

Предлагается обсудить в теме, что есть шум, и как с ним бороться, в смысле измерить его характеристики.

Не так немного. На самом деле на рынке нет шума. Единственные шумы, которые там присутствуют это шумы дискретизации, которые возникают из-за временной дискретизации графика. Если  данные не дискретизировать по времени, то становится на глаз видно, что никаких шумов нет, есть движения разных размеров. Из маленьки движений состоят большие и все они похожи.
 
Maxim Romanov:
Не так немного. На самом деле на рынке нет шума. Единственные шумы, которые там присутствуют это шумы дискретизации, которые возникают из-за временной дискретизации графика. Если  данные не дискретизировать по времени, то становится на глаз видно, что никаких шумов нет, есть движения разных размеров. Из маленьки движений состоят большие и все они похожи.

Рынок как сложная динамическая система не может не шуметь. Если учесть то, что эта система + ко всему охвачена положительной обратной связью (информация с рынка - трейдеру), то входной шум рынка должен еще и усиливаться. Если поместить рынок в инфо-вакуум (отсутствие внешних воздействий, новостей и пр.), то мы увидим шум системы в чистом виде. Скажем, флэт - это и есть, типа шум рынка. Причем это выходной сигнал системы.

Шум рынка представляет собой нечто подобное случайным блужданиям, типа Винеровского случайного процесса. По крайней мере многие характеристики совпадают. Самоподобие, в том числе.

 
Yuriy Asaulenko:

Рынок как сложная динамическая система не может не шуметь. Если учесть то, что эта система + ко всему охвачена положительной обратной связью (информация с рынка - трейдеру), то входной шум рынка должен еще и усиливаться. Если поместить рынок в инфо-вакуум (отсутствие внешних воздействий, новостей и пр.), то мы увидим шум системы в чистом виде. Скажем, флэт - это и есть, типа шум рынка. Причем это выходной сигнал системы.

Шум рынка представляет собой нечто подобное случайным блужданиям, типа Винеровского случайного процесса. По крайней мере многие характеристики совпадают. Самоподобие, в том числе.

если поместить рынок в вакуум, то цена остановится, по тому что никто не будет совершать сделок и шума не будет.

Рынок действительно можно представить как систему охваченную положительной обратной связью, и было бы все так просто, если бы.... параметры обратной связи были стабильны. представьте усилитель, у которого одна обратная связь с жесткими параметрами, что будет? Он самовозбудится и возникнут гармонические колебания. А теперь представьте усилитель у которого миллион цепей обратной связи! с разными параметрами! Причем это не всегда миллион, сейчас может быть 2 миллиона, а сейчас всего 1000, и у всех разные характеристики, разная глубина, разное время задержки, разное время переходных процесса и плюс ко всему все эти параметры плавают во времени для каждой отдельной связи. В таком случае, на рынке никогда не возникнет гармонического сигнала, Каждое движение совершенно непредсказуемым образом может быть усилено или ослаблено, вот и получается, что никаких шумов нет на самом деле, это все информативны движения. К рынку нельзя в лоб применить теорию цепей, или теорию сигналов, или отфильтровать шум, по тому что он и состоит из этого шума, причем самосинхронизирующегося на разных интервалах отсчета.

Почему в радиотехнике мы так легко фильтруем шум? По тому что мы знаем сигнал, который нам нужно выделить, все что не сигнал, все шум. Наш сигнал обладает вполне определенными характеристиками и мы знаем как его вычислить по каким косвенным или прямым признакам. На рынке сам шум и есть сигнал, по сути нет не шума не сигнала, есть только колебания. Фильтровать нечего.

Хотя маленький шум там действительно присутствует, это шумы квантования, каждая сделка совершается с объемом конечной точности, из-за этого действительно возникают шумы, но потом эти шумы, как я писал выше, превращаются в движения. 

 
Maxim Romanov:

если поместить рынок в вакуум, то цена остановится, по тому что никто не будет совершать сделок и шума не будет.

Положительная обратная связь только при определенных пвраметрах, приводит к генерации и самовозбуждению. Строго говоря, обратная связь у нас всего одна, а не множество, кот поступает на вход системы, а вот входные фильтры у всех разные, и, да, меняются во времени. Кроме того у всех еще разные фильтры на внешние воздействия, форма и амплитуда реакции на эти воздействия. Я такую модель кручу уже неск лет. В основном на качественном уровне.

Так есть шум или нет? Если - На рынке сам шум и есть сигнал, по сути нет не шума не сигнала, есть только колебания. Фильтровать нечего.

Скажем, консолидированные движения, это не шум - отклонение от среднего там мизер . А отклик системы на воздействие по форме вполне похож на отклик большинства систем с небольшим перерегулированием.  А во флете шум вполне похож на тремор или блуждания вокруг средней (рыскание), м.б со сносом. Такая реакция также  свойственн многим система регулирования.

 
Yuriy Asaulenko:

Когда мы смотрим на график, то без всяких индикаторов видим - где шум, а где сигнал. Особенно на истории.

Позвольте спросить, а что вы тогда здесь делаете? Вперед на крупнейшие биржи сокрушать мировую финансовую систему.

 
Комбинатор:

Позвольте спросить, а что вы тогда здесь делаете? Вперед на крупнейшие биржи сокрушать мировую финансовую систему.

А вы даже на истории не в состоянии? По моему, на истории все оч успешно торгуют. Особенно по ТА. Коли-б заранее знать, мы  бы ее давно сокрушили. :)
 
Yuriy Asaulenko:

Вопрос не в программировании, а скорее философский.

Общеизвестно, что шум очень хорошо измерять, когда известны характеристики сигнала. В нашем же случае, не оч понятно, не только что есть шум, но и что есть сигнал.

Для пипсовщиков это одно, для интрадейщиков другое, для краткосрочников третье. Но они и ловят разные сигналы. И для этих категорий и понятие шума сильно различаются.

Когда мы смотрим на график, то без всяких индикаторов видим - где шум, а где сигнал. Особенно на истории. Более опытные могут и в реал тайме понять, где сигнал превышает шум (я вовсе не говорю, что сделка в этот момент будет удачной, но вероятность такого исхода больше).

Я пытался что-то сделать в этом направлении. Скажем, линии регрессии, кривые регрессии - те-же линии, только в каждой точке производная эквивалентна линии. И относительно них считать шум. Однако человеческий мозг определяет все это если не быстрее, то намного лучше. И там, где автомат решает входить в сделку, человеку кажется, что этого делать совсем не надо, и наоборот, кстати - тоже не редкость. Я обычно при тестировании просматриваю большинство сделок, в том числе и на графиках, и порой думаю - и чего он туда полез. Хотя, да, я ему сам это и сказал.:)

Вот и возникла мысль, что прежде чем измерять что-либо, неплохо бы сформулировать, а что же мы измеряем. Я подозреваю, что когда мы смотрим на график, то каждый раз, в зависимости от ситуации, понятие шума у нас адаптивно меняется. Т.е., мы интуитивно прикидываем несколько вариантов, и выбираем тот, который нас устраивает в данный конкретный момент. И усреднене мы проводим каждый раз по разным критерием - в голове строим несколько линий, и выбираем понравившуюся в данный момент.

Предлагается обсудить в теме, что есть шум, и как с ним бороться, в смысле измерить его характеристики.

Этот вопрос уже обсуждался на 4ке. 

Мой взгляд. Если вы не ищете никаких свойств модели, весь процесс для вас шум. Ничего не предсказывается. Если применили линейные методы, шум это остаток от линейной модели. Если применили нелинейные методы, шум это остаток от этой модели. Завтра вы получите доступ к инсайду. Шум еще уменьшится. Послезавтра вы станете богом Форекса и узнаете обл всех планах его участников и их реализаций и шум станет нулевым.

Вопрос простой. Ответ: Шум это то, что вы не в состоянии объяснить.

Другая, статистическая постановка вопроса. Есть некая модель оставляющая шум на данных всей ген.совокупности, то есть вся история существования котировок и будущее ее. Вы приближаетесь к этой модели и ваш шум это оценка идеального шума идеальной модели. Вот так абстрактно. В классических методах предполагается, что шум идеальной модели нормален. 
 
Очнитесь - не цена шумит.
Если минуту назад было 1.0 а теперь 1.01 - это цена.
Шумит ваша модель, или в... голове
Причина обращения: