Эту картинку можно представить матрицей. Высота матрицы равна высоте картинки, а ширина матрицы = ширина картинки x3 (так как 3 цветовых канала красный синий зелёный). А дальше обычными средствами R можно найти основные компоненты, оставить только самые главные, и уже из них попытаться восстановить оригинальное изображение. По идее информация о шуме будет храниться в менее важных компонентах, и отбросив их - отбросим и шум.
Вот что получилось -
Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.
Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)
Замена одного шума на другой :D
Такими зернистыми изображениями, кстати, очень легко обманываются НС комп. зрения. Видел где-то статью как зашумленные дорожные знаки приводят НС которая распознает знаки в ступор :)
допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.
На мой взгляд, картинка показывает переоптимизацию - утрату данных для принятия верного решения.
допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.
Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.
Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.
Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.
ну тут основное преимужество что все пространство заполнено рисунком всегда, а не как обычный график сверху вниз или снизу вверх там. Для машинного грения будет легче идентифицировать, а особенности рисуков будут говорить о тех или иных закономерностях конкретного паттерна
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Я пробовал и вроде даже писал об этом, рез тот же что и с ВР
Тут проблема в том что рынок постоянно генерирует разные ВР, те то что было в прошлом никогда не повториться в будущем если смотреть на рынок через ВР или через какие либо преобразования ВР а значит работа с такими признаками бесполезна для МО да и для человека тоже между прочим...
К трейдингу это не относится, просто интересный эксперимент.
Спасибо! Этим методом так же можно и звуки очищать от шумов, например старые или поврежденные записи, удаляя из них шумовые компоненты ... но это все задачи спектрального анализа те это все можно делать не только с РСА а и с фурье или вейвлетами
Dr. Trader: Метод основных компонент (PCA) можно применять для подавления шума в данных, я хотел посмотреть как это сработает для очистки зашумлённых изображений....
Если оставить за скобками существование большого количество фильтров для решения подобных задач, в том же фотошопе и пр., то попробуй для кругозора и другие алгоритмы понижения размерности - ICA, NMF, SVD и пр. Но так как интересен автоподход с элементами DM, то можно юзануть например кластеризацию. K-Means,EM-к, DBSCAN, t-SNE и пр. 1. Попытаться отловить шум. 2. Если мало мальски удастся - удаляем. 3. Заменяем пустоты ближайшим соседом и пр. Потом подсовываем картинки с разными шумами и смотрим резы. Если не получается - сажаем девочку с крандашами, пусть ретуширует)))
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
А Решетов представился к Богу?
Слухи ходят такие, сам на похоронах не присутствовал.
К трейдингу это не относится, просто интересный эксперимент.
Метод основных компонент (PCA) можно применять для подавления шума в данных, я хотел посмотреть как это сработает для очистки зашумлённых изображений.
Взял картинку http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg, добавил к ней шум
Эту картинку можно представить матрицей. Высота матрицы равна высоте картинки, а ширина матрицы = ширина картинки x3 (так как 3 цветовых канала красный синий зелёный).
А дальше обычными средствами R можно найти основные компоненты, оставить только самые главные, и уже из них попытаться восстановить оригинальное изображение. По идее информация о шуме будет храниться в менее важных компонентах, и отбросив их - отбросим и шум.
Вот что получилось -
Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.
Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)
Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)
Замена одного шума на другой :D
Такими зернистыми изображениями, кстати, очень легко обманываются НС комп. зрения. Видел где-то статью как зашумленные дорожные знаки приводят НС которая распознает знаки в ступор :)
Вы же хорошо владеете R, что вам мешает попробовать Recurrence plots https://en.wikipedia.org/wiki/Recurrence_plot
допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.
Вы же хорошо владеете R, что вам мешает попробовать Recurrence plots https://en.wikipedia.org/wiki/Recurrence_plot
допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.
Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.
Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.
Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.
ну тут основное преимужество что все пространство заполнено рисунком всегда, а не как обычный график сверху вниз или снизу вверх там. Для машинного грения будет легче идентифицировать, а особенности рисуков будут говорить о тех или иных закономерностях конкретного паттерна
Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.
Но нужно проверять.
Я пробовал и вроде даже писал об этом, рез тот же что и с ВР
Тут проблема в том что рынок постоянно генерирует разные ВР, те то что было в прошлом никогда не повториться в будущем если смотреть на рынок через ВР или через какие либо преобразования ВР а значит работа с такими признаками бесполезна для МО да и для человека тоже между прочим...
К трейдингу это не относится, просто интересный эксперимент.
Если оставить за скобками существование большого количество фильтров для решения подобных задач,
в том же фотошопе и пр., то попробуй для кругозора и другие алгоритмы понижения размерности -
ICA, NMF, SVD и пр.
Но так как интересен автоподход с элементами DM, то можно юзануть например кластеризацию.
K-Means,EM-к, DBSCAN, t-SNE и пр.
1. Попытаться отловить шум.
2. Если мало мальски удастся - удаляем.
3. Заменяем пустоты ближайшим соседом и пр.
Потом подсовываем картинки с разными шумами и смотрим резы.
Если не получается - сажаем девочку с крандашами, пусть ретуширует)))