Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 451
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
А Решетов представился к Богу?
Слухи ходят такие, сам на похоронах не присутствовал.
К трейдингу это не относится, просто интересный эксперимент.
Метод основных компонент (PCA) можно применять для подавления шума в данных, я хотел посмотреть как это сработает для очистки зашумлённых изображений.
Взял картинку http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg, добавил к ней шум
Эту картинку можно представить матрицей. Высота матрицы равна высоте картинки, а ширина матрицы = ширина картинки x3 (так как 3 цветовых канала красный синий зелёный).
А дальше обычными средствами R можно найти основные компоненты, оставить только самые главные, и уже из них попытаться восстановить оригинальное изображение. По идее информация о шуме будет храниться в менее важных компонентах, и отбросив их - отбросим и шум.
Вот что получилось -
Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.
Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)
Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)
Замена одного шума на другой :D
Такими зернистыми изображениями, кстати, очень легко обманываются НС комп. зрения. Видел где-то статью как зашумленные дорожные знаки приводят НС которая распознает знаки в ступор :)
Вы же хорошо владеете R, что вам мешает попробовать Recurrence plots https://en.wikipedia.org/wiki/Recurrence_plot
допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.
Вы же хорошо владеете R, что вам мешает попробовать Recurrence plots https://en.wikipedia.org/wiki/Recurrence_plot
допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.
Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.
Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.
Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.
ну тут основное преимужество что все пространство заполнено рисунком всегда, а не как обычный график сверху вниз или снизу вверх там. Для машинного грения будет легче идентифицировать, а особенности рисуков будут говорить о тех или иных закономерностях конкретного паттерна
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Я пробовал и вроде даже писал об этом, рез тот же что и с ВР
Тут проблема в том что рынок постоянно генерирует разные ВР, те то что было в прошлом никогда не повториться в будущем если смотреть на рынок через ВР или через какие либо преобразования ВР а значит работа с такими признаками бесполезна для МО да и для человека тоже между прочим...
К трейдингу это не относится, просто интересный эксперимент.
Если оставить за скобками существование большого количество фильтров для решения подобных задач,
в том же фотошопе и пр., то попробуй для кругозора и другие алгоритмы понижения размерности -
ICA, NMF, SVD и пр.
Но так как интересен автоподход с элементами DM, то можно юзануть например кластеризацию.
K-Means,EM-к, DBSCAN, t-SNE и пр.
1. Попытаться отловить шум.
2. Если мало мальски удастся - удаляем.
3. Заменяем пустоты ближайшим соседом и пр.
Потом подсовываем картинки с разными шумами и смотрим резы.
Если не получается - сажаем девочку с крандашами, пусть ретуширует)))