Подсмотренные из разных мест оригинальные математические функции, которые либо не имеют аналогов, либо выполняют свою работу значительно быстрее, чем альтернативные реализации
На скрине, похоже, только длина паттерна очень высокая, т.к. M1. На часовиках, наверное, покажет что-то интересное, раз нашли.
И эта проблема
вроде, решается.
Но там не майнинг (перебор), конечно. Хотя недалеко.
)) тоже видел
Изначально интересовало, как можно искать паттерны в многомерных массивах без МО. Пока не придумал ничего лучше, чем запихнуть все измерения в одно и посчитать через корреляцию (типа быстро). Наверное иногда значения нужно нормализовать, чтобы сильно разными не были.
Тогда надо индикаторы приводить к каким-то единым попугаям. Даже если индикатором служит приращение на разных интервалах, иначе странная корреляция выйдет.
Уже не помню, но сложность алгоритма точно меньше O(N^2). Думаю, не выше O(N*log). Поэтому не совсем понятно заметное замедление при росте признаков.
Там еще палка о двух концах: больше признаков, меньше samples - ниже стат. значимость.
Ну я же еще все возможные пары считаю сразу. Еще много всяких входных данных хочется попробовать. Да нормально. Просто в STUMPY есть возможность приблизительно считать, а потом уточнять. Получается заметное ускорение, плюс распарралеливание и на GPU. Наверное на тот пакет перейду полностью.
позже проанализирую, пока не готов комментировать, только вчера написал эту считалку
Думаю, что на корреляцию будут оказывать влияние самые большие по абс значению числа. Например изменение объемов 10000 и 10100, и на их фоне изменение цен 0,00040 и 0,00400 будут микроскопически малы и на корреляцию всего набора окажут малое влияние. Я бы сделал нормализацию для проверки этой гипотезы.
по статистике видно, допустим будущее 10 баров, вывожу все кривые каждого найденного экземпляра паттерна в будущем (типа прогноз)
Потом среднее по всем кривым
Типа этот паттерн на продажу, в среднем, и сколько пунктов видно
Нечто похожее видел здесь.
На скрине, похоже, только длина паттерна очень высокая, т.к. M1. На часовиках, наверное, покажет что-то интересное, раз нашли.
И эта проблема
вроде, решается.
Но я делаю в питоне и считаю корреляцию сразу для всех возможных пар, потом выбираю из этого.
Здесь самое главное - это скоростьНа Питоне обязан быть аналог этого. Тогда должно быть быстро.
Нечто похоже видел здесь.
На скрине, похоже, только длина паттерна очень высокая, т.к. M1. На часовиках, наверное, покажет что-то интересное, раз нашли.
И эта проблема
вроде, решается.
Но там не майнинг (перебор), конечно. Хотя недалеко.)) тоже видел
Изначально интересовало, как можно искать паттерны в многомерных массивах без МО. Пока не придумал ничего лучше, чем запихнуть все измерения в одно и посчитать через корреляцию (типа быстро). Наверное иногда значения нужно нормализовать, чтобы сильно разными не были.
На Питоне обязан быть аналог этого. Тогда должно быть быстро.
Есть, но при росте числа признаков (индикаторов) все равно не очень быстро.
В 3980 реализовали методы Conjugate для типов complex, vector<complex> и matrix<complex>. Они выполняют сопряжение для комплексных чисел.
Еще добавили обработку выхода ONNX-модели типа Sequence of maps. Функциональность ONNX Runtime серьезно повысилась.
Есть, но при росте числа признаков (индикаторов) все равно не очень быстро.
Уже не помню, но сложность алгоритма точно меньше O(N^2). Думаю, не выше O(N*log). Поэтому не совсем понятно заметное замедление при росте признаков.
Там еще палка о двух концах: больше признаков, меньше samples - ниже стат. значимость.
Наверное иногда значения нужно нормализовать, чтобы сильно разными не были.
Там каша может выходить без нормализации.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Машинное обучение в трейдинге: теория, модели, практика и алготорговля
fxsaber, 2023.09.21 16:19
Тогда надо индикаторы приводить к каким-то единым попугаям. Даже если индикатором служит приращение на разных интервалах, иначе странная корреляция выйдет.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Машинное обучение в трейдинге: теория, модели, практика и алготорговля
Maxim Dmitrievsky, 2023.09.21 15:59
у того примера из тестера была длина 9 (приращений разных периодов)
то совсем непонятно, что показывает корреляция без нормализации. А вдруг... этот пропущенный, вроде, логичный шаг и приводит к хорошему результату...
Уже не помню, но сложность алгоритма точно меньше O(N^2). Думаю, не выше O(N*log). Поэтому не совсем понятно заметное замедление при росте признаков.
Там еще палка о двух концах: больше признаков, меньше samples - ниже стат. значимость.
Ну я же еще все возможные пары считаю сразу. Еще много всяких входных данных хочется попробовать. Да нормально. Просто в STUMPY есть возможность приблизительно считать, а потом уточнять. Получается заметное ускорение, плюс распарралеливание и на GPU. Наверное на тот пакет перейду полностью.
Там каша может выходить без нормализации.
Если нестандартные returns, а такие,то совсем непонятно, что показывает корреляция без нормализации. А вдруг... этот пропущенный, вроде, логичный шаг и приводит к хорошему результату...
позже проанализирую, пока не готов комментировать, только вчера написал эту считалку
позже проанализирую, пока не готов комментировать, только вчера написал эту считалку
Думаю, что на корреляцию будут оказывать влияние самые большие по абс значению числа. Например изменение объемов 10000 и 10100, и на их фоне изменение цен 0,00040 и 0,00400 будут микроскопически малы и на корреляцию всего набора окажут малое влияние. Я бы сделал нормализацию для проверки этой гипотезы.