fxsaber #: Так все же уже успешно решается задача идентификация ряда, как СБ или нет?
Для себя такой задачи не решал. Но могу предположить.
Тренировочные данные МО может хорошо выучить. Решение на новых данных. Если там 1000 строк, то могут быть отклонения от 50/50. Чем их будет больше - тем ближе будет к рандомному ответу. Но еще есть факторы степени обучения, если недообучить - то тоже будет рандом или близко к нему на новых данных. Возможно для определения СБ придется проверять несколько моделей с разной степенью заучивания. Если все на новых данных дают 50/50, то СБ. Если какие то будут и на новых правильно отвечать, то значит закономерности есть и найдены.
Если после экспериментов ни одна из моделей не смогла на новых данных отвечать лучше чем 50/50, то это или СБ или просто вы не смогли найти значимых фичей и настроек. 1 из этих 2х причин, но не однозначно СБ/не СБ.
К сожалению, обнаружилось, что выборки для построения моделей были не совсем корректными для GBPUSD и Random_01 - чаще чем раз в час были сняты показатели в среднем.
Поэтому пришлось всё переделать, я обучился на 3х вариантов комбинаций выборок
EURUSD_Random_01
GBPUSD_Random_01
EURUSD_GBPUSD
Использовалось 13 разных поднаборов предикторов, в результате получил такие показатели Accuracy на выборке exam для них при создании модели сseed=0.
Как видно из таблицы, рандомные примеры баров хорошо выделяются предикторами. А вот отделить пары EURUSD и GBPUSD не удаётся столь же хорошо - лучший показатель 0,68. Жёлтым цветом я выделил заинтересовавашие меня наборы - посмотрим значимость первых 25 предикторов в этих моделях.
Для Test_CB_Setup_0_000000006 - Исключили всё, кроме осцилляторов, за исключением ATR и Volume + iVIDyA, iBWMFI, iChaikin
Удивительно, но осцилляторы всё же показали не плохой результат, что говорит, как я думаю, о том, что есть зависимость в развитии последовательностей временных рядов. Особенно важны оказались показатели стандартного отклонения, индикатор "Average Directional Movement Index by Welles Wilder", MACD и "Triple Exponential Moving Averages Oscillator".
Для Test_CB_Setup_0_000000010 - Только предикторы на базе MA
Неожиданно для меня на предикторах от скользящих средних удалось получить неплохой результат. Особенно обращает на себя внимание значимость предикторов на TF H4.
Идеи и мнения приветствуются по результатам эксперимента.
Есть кастомный символ. Запускаем на нем скрипт, и тот делает вердикт по случайности. Нечто такое есть?
Попробую ответить без математической мути.
Ряд ведёт себя как СБ если его приращения ведут себя как качественный генератор случайных чисел. Есть множество библиотек тестирующих качество таких генераторов. Достаточное количество таких библиотек и тестов в каждой из них однозначно говорит о том, что вопрос не прост и не имеет однозначного решения. СБ-шность может нарушаться очень по разному, фактически, бесконечным числом способов.
Например, есть тесты NIST, которые подойдут для теста СБ "монетки".
Возможен ли ряд bid/ask, на котором может зарабатывать ТС, но который по тестам проходит, как СБ?
Просто видится, что в любом СБ ряду можно заменить 1% информации так, что это превратит ряд в "зарабатываемый". И этот 1% никак не повлияет на вердикт, что это СБ.
когда надо классифицировать естественный_ценовой_ряд vs искусственный.
и то и другое это СБ (случайное блуждание, недетерминированное поведение или сверх-сложные неизведанные законы). И там и там есть схожие признаки, и на частных выборках есть псевдо-закономерности.
подобный классификатор - дико дорогая вещь, подороже всех представленных на форуме граалей. Ровно как и генератор который может подобный классификатор "обмануть".
Возможен ли ряд bid/ask, на котором может зарабатывать ТС, но который по тестам проходит, как СБ?
Просто видится, что в любом СБ ряду можно заменить 1% информации так, что это превратит ряд в "зарабатываемый". И этот 1% никак не повлияет на вердикт, что это СБ.
Похоже, совсем без математический мути не обойтись. Нужно просто разобраться что такое стат-тест и как он работает.
Стат-тесты всегда идут в комплекте с представлением о возможных ошибках обоих родов (ложноотрицательный и ложноположительный ответы) и их вероятностями (значимость и мощность), поэтому ответ скорее утвердительный.
Есть кастомный символ. Запускаем на нем скрипт, и тот делает вердикт по случайности. Нечто такое есть?
Нет готового решения. Но, теоретически, в СБ меньше устойчивых закономерностей, и это можно оценить с помощью предикторов. Как независимо, так и относительно множества других торговых инструментов, выявив в начале в них общие закономерности (через обучение модели). Но в любом случае ответ будет о временном ряде типа проверки гипотезы, а не 100%.
Ок. База данных сохраняющая веса и смещения. Относите слово данные к названию БД (хранилищу), а не к типу хранимой информации. В деревянных моделях усреднения данных - т.е. можно соотнести с данными на которых обучали. В НС как и ранее говорил хранятся веса и смещения.
Определение не мое. Пару лет назад видел такое определение в новостях "базы данных на основе нейросетей". Для себя согласился. Особенно для основного инструмента который использую, т.е. деревьев/лесов.
Понятие базы данных имеет определенный смысл. Набор параметров НС таковой не является. Если только в самом широком смысле, который не ведёт к продуктивному дискурсу :)
Maxim Dmitrievsky #: А что там пробовать, символьную регрессию?
"Ключевая идея проста: обучаем обычную модель машинного обучения, а затем извлекаем из неё математическую формулу. Мы используем полиномиальную регрессию с Ridge-регуляризацией для прогнозирования цены и логистическую регрессию для направления. Затем SymPy превращает коэффициенты в уравнения."
Так все же уже успешно решается задача идентификация ряда, как СБ или нет?
Для себя такой задачи не решал.
Но могу предположить.
Тренировочные данные МО может хорошо выучить. Решение на новых данных. Если там 1000 строк, то могут быть отклонения от 50/50. Чем их будет больше - тем ближе будет к рандомному ответу.
Если после экспериментов ни одна из моделей не смогла на новых данных отвечать лучше чем 50/50, то это или СБ или просто вы не смогли найти значимых фичей и настроек. 1 из этих 2х причин, но не однозначно СБ/не СБ.Но еще есть факторы степени обучения, если недообучить - то тоже будет рандом или близко к нему на новых данных. Возможно для определения СБ придется проверять несколько моделей с разной степенью заучивания. Если все на новых данных дают 50/50, то СБ. Если какие то будут и на новых правильно отвечать, то значит закономерности есть и найдены.
Так все же уже успешно решается задача идентификация ряда, как СБ или нет?
Мои эксперименты показали, что легко. Как раз задача в том, что бы сложно было различить - пока не вернулся к этой задаче.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Будет ли хорошая стратегия работать на случайно сгенерированных данных?
Aleksey Vyazmikin, 2024.09.07 01:39
К сожалению, обнаружилось, что выборки для построения моделей были не совсем корректными для GBPUSD и Random_01 - чаще чем раз в час были сняты показатели в среднем.
Поэтому пришлось всё переделать, я обучился на 3х вариантов комбинаций выборок
Использовалось 13 разных поднаборов предикторов, в результате получил такие показатели Accuracy на выборке exam для них при создании модели сseed=0.
Как видно из таблицы, рандомные примеры баров хорошо выделяются предикторами. А вот отделить пары EURUSD и GBPUSD не удаётся столь же хорошо - лучший показатель 0,68. Жёлтым цветом я выделил заинтересовавашие меня наборы - посмотрим значимость первых 25 предикторов в этих моделях.
Для Test_CB_Setup_0_000000006 - Исключили всё, кроме осцилляторов, за исключением ATR и Volume + iVIDyA, iBWMFI, iChaikin
Удивительно, но осцилляторы всё же показали не плохой результат, что говорит, как я думаю, о том, что есть зависимость в развитии последовательностей временных рядов. Особенно важны оказались показатели стандартного отклонения, индикатор "Average Directional Movement Index by Welles Wilder", MACD и "Triple Exponential Moving Averages Oscillator".
Для Test_CB_Setup_0_000000010 - Только предикторы на базе MA
Неожиданно для меня на предикторах от скользящих средних удалось получить неплохой результат. Особенно обращает на себя внимание значимость предикторов на TF H4.
Идеи и мнения приветствуются по результатам эксперимента.
Мои эксперименты показали, что легко. Как раз задача в том, что бы сложно было различить - пока не вернулся к этой задаче.
Есть кастомный символ. Запускаем на нем скрипт, и тот делает вердикт по случайности. Нечто такое есть?
Есть кастомный символ. Запускаем на нем скрипт, и тот делает вердикт по случайности. Нечто такое есть?
Попробую ответить без математической мути.
Ряд ведёт себя как СБ если его приращения ведут себя как качественный генератор случайных чисел. Есть множество библиотек тестирующих качество таких генераторов. Достаточное количество таких библиотек и тестов в каждой из них однозначно говорит о том, что вопрос не прост и не имеет однозначного решения. СБ-шность может нарушаться очень по разному, фактически, бесконечным числом способов.
Например, есть тесты NIST, которые подойдут для теста СБ "монетки".
Попробую ответить без математической мути.
Возможен ли ряд bid/ask, на котором может зарабатывать ТС, но который по тестам проходит, как СБ?
Просто видится, что в любом СБ ряду можно заменить 1% информации так, что это превратит ряд в "зарабатываемый". И этот 1% никак не повлияет на вердикт, что это СБ.
при чём СБ не_СБ.. очнитесь
когда надо классифицировать естественный_ценовой_ряд vs искусственный.
и то и другое это СБ (случайное блуждание, недетерминированное поведение или сверх-сложные неизведанные законы). И там и там есть схожие признаки, и на частных выборках есть псевдо-закономерности.
подобный классификатор - дико дорогая вещь, подороже всех представленных на форуме граалей. Ровно как и генератор который может подобный классификатор "обмануть".
Возможен ли ряд bid/ask, на котором может зарабатывать ТС, но который по тестам проходит, как СБ?
Просто видится, что в любом СБ ряду можно заменить 1% информации так, что это превратит ряд в "зарабатываемый". И этот 1% никак не повлияет на вердикт, что это СБ.
Похоже, совсем без математический мути не обойтись. Нужно просто разобраться что такое стат-тест и как он работает.
Стат-тесты всегда идут в комплекте с представлением о возможных ошибках обоих родов (ложноотрицательный и ложноположительный ответы) и их вероятностями (значимость и мощность), поэтому ответ скорее утвердительный.
Есть кастомный символ. Запускаем на нем скрипт, и тот делает вердикт по случайности. Нечто такое есть?
Нет готового решения. Но, теоретически, в СБ меньше устойчивых закономерностей, и это можно оценить с помощью предикторов. Как независимо, так и относительно множества других торговых инструментов, выявив в начале в них общие закономерности (через обучение модели).
Но в любом случае ответ будет о временном ряде типа проверки гипотезы, а не 100%.
Ок. База данных сохраняющая веса и смещения. Относите слово данные к названию БД (хранилищу), а не к типу хранимой информации. В деревянных моделях усреднения данных - т.е. можно соотнести с данными на которых обучали. В НС как и ранее говорил хранятся веса и смещения.
Определение не мое. Пару лет назад видел такое определение в новостях "базы данных на основе нейросетей". Для себя согласился. Особенно для основного инструмента который использую, т.е. деревьев/лесов.
А что там пробовать, символьную регрессию?