Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 638

 
Mihail Marchukajtes:

Чтобы найти кросс энтропию сначала нужно найти условную энтропию двух событий чем собственно сейчас и занимаюсь....

А оценка энтропии модели нужна в момент работы модели на ООС. Выдав сигнал мы сможем посчитать энтропию этого сигнала и уже по ней сделать выводы. Энтропия сигнала выросла. Ну его нафиг, упала- это наш паровоз....

Для торговли по тренду - да, именно так. Михаил, лабайте быстрее, а то мой тесть в порыве жажды денег с Форекса, уже кулаками перед моей физиономией крутит, не дает сосредоточиться на энтропии/негэнтропии...

 
Mihail Marchukajtes:

Чтобы найти кросс энтропию сначала нужно найти условную энтропию двух событий чем собственно сейчас и занимаюсь....

У вас какая-то другая кросс-энтропия чем у меня, помочь не могу. Хотя у меня тоже велосипед, спорить что лучше не буду :)

Немного полистал пакеты R по теме, похоже что https://cran.r-project.org/web/packages/EMVC/EMVC.pdf вам бы подошёл найти и энтропию, и кросс-энтропию, и отфильтровать предикторы.

 
Dr. Trader:


Теорию информации я не изучал, но есть немного опыта с энтропией в R.

По сути, чем больше энтропия тем больше в данных хаоса. Предиктор с высокой энтропией довольно плохо связан с таргетом. И наоборот - низкая энтропия говорит о том что таргет легко определяется из предиктора.

Негэнтропия - противоположность энтропии, никаких новых знаний по сравнению с энропией не приносит, просто введена для удобства. Если у предиктора энтропия большая, то негэнтропия маленькая. Если энтропия маленькая, то негэнтропия большая. Это как жар и холод, свет и тьма, итд, одно плавно переходит в другое.

Но это не всё, есть ещё кросс-энтропия. Это то как оба предиктора вместе связаны с таргетом, высокая кросс-энтропия плохо, низкая - хорошо. В машинном обучении часто бывает что два предиктора с высокой энтропией при совместном использовании дают низкую кросс-энтропию, это то что нам всем нужно. Даже если каждый из предикторов может быть сам по себе плохо связан с таргетом (высокая энтропия у обоих), но вместе они могут попасть в яблочко (низкая кросс-энтропия). Поэтому нельзя просто измерить энтропию каждого предиктора отдельно, и выбрать набор согласно оценке. Нужно подбирать весь набор набор предикторов с низкой кросс-энтропией, я например вообще не смотрю какая у них энтропия по отдельности.

Вот примеры - 

1) Предиктор с высокой энтропией. По нему вообще невозможно предсказать класс таргета.

2) Предиктор с низкой энтропией. Если присмотреться, то если значение предиктора от 0 до 0.25 или меньше 0.4 то значение класса = 1. Иначе класс = 2. Это очень удобный для использования в МО предиктор.

3) два предиктора, у каждого высокая энтропия, и модель никогда не сможет предсказать таргет используя только первый или только второй предиктор. Но нарисовав их вместе (ось X - значение первого, и Y - значение второго) сразу видно что они вместе очень хорошо дают информацию о классе таргета (одинаковый знак у обоих предикторов = класс1, разный знак = класс2). Это пример низкой кросс-энтропии.


Может быть просто главные компоненты?

 
Вспомнил! Первым предложил учитывать энтропию/негэнтропию Dennis Kirichenko. Низкий поклон ему - буквально-таки обливаюсь сейчас слезами от надвигающегося счастья в виде денег.
 

http://padabum.com/d.php?id=223567

не благодарите

опять читать... когда же это закончится

Обучение с подкреплением
Обучение с подкреплением
  • голосов: 1
  • padabum.com
Обучение с подкреплением является одной из наиболее активно развивающихся областей, связанных с созданием искусственных интеллектуальных систем. Оно основано на том, что агент пытается максимизировать получаемый выигрыш, действуя в сложной среде с высоким уровнем неопределенности. Дается исчерпывающее и ясное изложение идей...
 
Maxim Dmitrievsky:

http://padabum.com/d.php?id=223567

не благодарите

опять читать... когда же это закончится

За книгу спасибо.

Не, такие ссылки с процессом установки не качаем.))

 
Yuriy Asaulenko:

За книгу спасибо.

Не, такие ссылки с процессом установки не качаем.))

все качается норм, без всяких установок

пдфка чстая, могу сконвертить в djvu и скинуть
 
СанСаныч Фоменко:

Может быть просто главные компоненты?

Главные компоненты вычисляются без анализа таргета. Можно найти главные компоненты, но дадут ли они пользу для предсказания нужного таргета - заранее неизвестно.

А кроссэнтропию можно вычислить по отношению к конкретному таргету, и результат скажет какие именно предикторы следовало бы убрать ибо мешают.
Захотелось попробовать пакет EMCV, жаль раньше не замечал его, если получится то позже выложу сюда примеры использования.

 
Maxim Dmitrievsky:

все качается норм, без всяких установок

Сорри, нажал не ту кнопку -"скачать", а там экзешник.

Все ОК.

 
Yuriy Asaulenko:

Сорри, нажал не ту кнопку -"скачать". Все ОК.

та то просто рекламная кнопка, пора уже поопытней быть на пиратских сайтах ))

Причина обращения: