Статистика зависимостей в котировках (теория информации, корреляция и другие методы feature selection) - страница 9
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
мне нет))) если требуется независимость то к примеру зачем такая штука как условная энтропия?
Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия. https://ru.wikipedia.org/wiki/Информационная_энтропия
О да, условная энтропия. Понятно ли, что там всё равно замкнутое пространство исходов? И все буковки совершенно четко посчитаны и т.д. Фактически речь идёт о простом расширении исходного алфавита из 26 символов до алфавита из скольки то там слогов. Это в грубом приближении.
так в этом примерно и есть смысл энтропии))) Или в степени сжатия идеальным архиватором
Извините, HideYourRichess, но Вас, кажется, занесло неизвестно куда. Я уже и не знаю, что с Вами обсуждать, раз Вы так настойчивы в откровенной чуши. Ваша логика в рассуждении
для меня совершенно непостижима.
Верить не буду. Покажите источник, в котором утверждается, что
так в этом примерно и есть смысл энтропии))) Или в степени сжатия идеальным архиватором
HideYourRichess, если Вы думаете, что весь тервер сводится к сериям Бернулли или закону больших чисел, то Вы сильно ошибаетесь.
Прекратите валять дурака и ознакомьтесь же с понятием условной вероятности, которое напрямую используется при определении условной энтропии и взаимной информации.
HideYourRichess, если Вы думаете, что весь тервер сводится к сериям Бернулли или закону больших чисел, то Вы сильно ошибаетесь.
Я не думаю, я это точно знаю.
Понятие независимых испытаний, происходящее от Бернулли, этого будет достаточно? Или вот, формулировка закона больших чисел: Пусть есть бесконечная последовательность одинаково распределённых и некоррелированных случайных величин... Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин..
Предлагаю поднять публикации самого Шеннона и почитать. Мне кажется аппоненты топика просто устраивают "драку" без особых на то причин. Я изучал теорию вероятностей в университете, хотя мое образование не математическое. Насколько я помню, важной характеристикой является стационарность изучаемых случайных величин.
И еще скажу с позиции своего, не математического, образования. Возьмем теорию связи, применительно к которой развивалась ТИ. Есть провод, по нему идут сигналы, их содержательный смысл для нас не значим. Мы хотим посчитать информационные потери в этом проводе, и рассматриваем источник и передатчик (ПОПРАВЛЮСЬ: передатчик и приемник) как две случайные переменные. А разве они не связаны априорно? Замечу - предполагается, что они связаны пресловутым проводом. Что на это скажете?
HideYourRichess,
Прекратите валять дурака и ознакомьтесь же с понятием условной вероятности, которое напрямую используется при определении условной энтропии и взаимной информации.
И еще добавлю для HideYourRichess
Взаимная информация считается для очень сильно связанных, скоррелированных переменных и определяет количество и самой информации и ее потерь. Так что связь событий на физическом уровне - это элемент всей теории. Или Шенном был неправ...
HideYourRichess, если Вы думаете, что весь тервер сводится к сериям Бернулли или закону больших чисел, то Вы сильно ошибаетесь.
Я не думаю, я это точно знаю.
О каких независимых событиях Вы говорите? О последовательности символов алфавита от источника? Да нет, не обязательно они независимы, Вам уже это объясняли. Обычный русскоязычный литературный текст - это последовательность зависимых букв. Если бы они были независимыми, литературные тексты сжимались бы архиватором гораздо хуже, чем на самом деле. Возьмите и перемешайте какой-нибудь литературный текст и сравните результаты архивирования исходного и перемешанного.
Или Вы думаете, что ансамбли источника и приемника - независимые переменные?