)) какое нафиг сжатие? что вы там изучали не понятно но точно не то
будем считать, что Вы блеснули, почитайте хотя бы Вики, прежде чем писать
алгоритм dtw анализирует временную составляющую сигнала, и приводит ее к некой постоянной величине, зная эту величину, Вы можете паузы между информационной составляющей сигнала, просто убрать - в итоге у Вас будут пакеты данных без временной составляющей + постоянный алгоритм трансформации временной оси
Maxim Dmitrievsky:
можно сжимать котировки в zip архивы, смотреть на их размеры и это будут новые фичи
не прокатит, алгоритм zip - алгоритм строго преобразования, и не получится данные отличающиеся на 1 байт идентифицировать как одни и те же данные,
нужен не строгий алгоритм работы с данными, они все с потерей исходных данных, если особо не выдумывать - это jpg - он сжимает с потерей и данные которые близки по содержанию будут восстановлены примерно одинаковыми в итоге, но это визуально! а для машины как идентифицировать это? - контрольные суммы будут в итоге разные, сами байты будут иметь разные значения....
но как обучающий пример для НС, возможно это то, что нужно , т.е нужен некий jpg для произвольных данных (не картинки)
не прокатит, алгоритм zip - алгоритм строго преобразования, и не получится данный отличающиеся на 1 байт идентифицировать как одни и те же данные,
нужен не строгий алгоритм работы с данными, они все с потерей исходных данных, если особо не выдумывать - это jpg - он сжимает с потерей и данные которые близки по содержанию будут восстановлены примерно одинаковыми в итоге, но это визуально! а для машины как идентифицировать это? - контрольные суммы будут в итоге разные, сами байты будут иметь разные значения....
но как обучающий пример для НС, возможно это то, что нужно , т.е нужен некий jpg для произвольных данных (не картинки)
да это шутка была )) Ну автоэнкодер или свертка хорошо справляются с этой задачей. У Владимира в статьях про энкодеры есть, про свертки нет
seq2seq это тоже, по сути, декодер-энкодер. Например, в машинном переводе разное кол-во букв между русским и англ. словами. Там это все сжимается, анализируется, потом разжимается
Seq2seq model maps variable input sequence to variable length output sequence using encoder -decoder that is typically implemented as RNN/LSTM model. But this paper https://arxiv.org/pdf/1705.03122.pdf shows application of convolutional neural network for seq2seq learning which is state of the art for computer vision using deep learning. There...
да это шутка была )) Ну автоэнкодер или свертка хорошо справляются с этой задачей. У Владимира в статьях про энкодеры есть, про свертки нет
seq2seq это тоже, по сути, декодер-энкодер. Например, в машинном переводе разное кол-во букв между русским и англ. словами. Там это все сжимается, анализируется, потом разжимается
про энкодеры читал в прошлом году, думаю, что как обычно все упрется в большие шпильки на ценовом графике - они рушат любые преобразования, не было бы шпилек, то и МАшки работали бы и фильтр Калмана и все работало бы норм )))
а вот про сжатие с потерями, тут можно попробовать поискать - сами семплы будут компактные по размеру, значит сеть будет не большая, обычно она лучше обучается
ох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.
я и НС уже не хочу вертеть, занялся тестером МТ5 и его ГА, ГА довольно адекватно работает, можно быстро (4,5 х 10^142 вариантов тестировал!!! - около 2-3 часов) строить автоматом ТС, и потом тестировать на форварде, результаты довольно приемлемые, имхо
ЗЫ: но ГА тоже нужно напильником дорабатывать, тяжело подбирать входные параметры - даешь много будет тест лет 5, начинаешь рубить как не корректные вх.данные - тут как повезет или сразу нашел где оптить и ли вообще не найдет
я и НС уже не хочу вертеть, занялся тестером МТ5 и его ГА, ГА довольно адекватно работает, можно быстро (4,5 х 10^142 вариантов тестировал!!! - около 2-3 часов) строить автоматом ТС, и потом тестировать на форварде, результаты довольно приемлемые, имхо
я либо мониторинг скоро сделаю, либо статью напишу.. со статьей правда лень заморачиваться, много букав
все исключительно на питоне теперь. Очень сильно экономит время.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
и действительно, зачем? :))
можно сжимать котировки в zip архивы, смотреть на их размеры и это будут новые фичи
)) какое нафиг сжатие? что вы там изучали не понятно но точно не то
будем считать, что Вы блеснули, почитайте хотя бы Вики, прежде чем писать
алгоритм dtw анализирует временную составляющую сигнала, и приводит ее к некой постоянной величине, зная эту величину, Вы можете паузы между информационной составляющей сигнала, просто убрать - в итоге у Вас будут пакеты данных без временной составляющей + постоянный алгоритм трансформации временной оси
можно сжимать котировки в zip архивы, смотреть на их размеры и это будут новые фичи
не прокатит, алгоритм zip - алгоритм строго преобразования, и не получится данные отличающиеся на 1 байт идентифицировать как одни и те же данные,
нужен не строгий алгоритм работы с данными, они все с потерей исходных данных, если особо не выдумывать - это jpg - он сжимает с потерей и данные которые близки по содержанию будут восстановлены примерно одинаковыми в итоге, но это визуально! а для машины как идентифицировать это? - контрольные суммы будут в итоге разные, сами байты будут иметь разные значения....
но как обучающий пример для НС, возможно это то, что нужно , т.е нужен некий jpg для произвольных данных (не картинки)
не прокатит, алгоритм zip - алгоритм строго преобразования, и не получится данный отличающиеся на 1 байт идентифицировать как одни и те же данные,
нужен не строгий алгоритм работы с данными, они все с потерей исходных данных, если особо не выдумывать - это jpg - он сжимает с потерей и данные которые близки по содержанию будут восстановлены примерно одинаковыми в итоге, но это визуально! а для машины как идентифицировать это? - контрольные суммы будут в итоге разные, сами байты будут иметь разные значения....
но как обучающий пример для НС, возможно это то, что нужно , т.е нужен некий jpg для произвольных данных (не картинки)
да это шутка была )) Ну автоэнкодер или свертка хорошо справляются с этой задачей. У Владимира в статьях про энкодеры есть, про свертки нет
seq2seq это тоже, по сути, декодер-энкодер. Например, в машинном переводе разное кол-во букв между русским и англ. словами. Там это все сжимается, анализируется, потом разжимается
https://medium.com/@gautam.karmakar/summary-seq2seq-model-using-convolutional-neural-network-b1eb100fb4c4что-то начинал читать про dtw, но не понял как применить к фин рядам и зачем оно мне ) но тема интересная, наверное
Был один концепт, где DTW был расширением процесса поиска подобий фрагментов графика, но в итоге наверное вейвлеты проще (а может и нет)
да это шутка была )) Ну автоэнкодер или свертка хорошо справляются с этой задачей. У Владимира в статьях про энкодеры есть, про свертки нет
seq2seq это тоже, по сути, декодер-энкодер. Например, в машинном переводе разное кол-во букв между русским и англ. словами. Там это все сжимается, анализируется, потом разжимается
https://medium.com/@gautam.karmakar/summary-seq2seq-model-using-convolutional-neural-network-b1eb100fb4c4про энкодеры читал в прошлом году, думаю, что как обычно все упрется в большие шпильки на ценовом графике - они рушат любые преобразования, не было бы шпилек, то и МАшки работали бы и фильтр Калмана и все работало бы норм )))
а вот про сжатие с потерями, тут можно попробовать поискать - сами семплы будут компактные по размеру, значит сеть будет не большая, обычно она лучше обучается
PS: да был DTW на форуме, даже поиском находится https://www.mql5.com/ru/code/10755
крутил его когда то , но... все нужно перед применением напильником обработать )))
Был один концепт, где DTW был расширением процесса поиска подобий фрагментов графика, но в итоге наверное вейвлеты проще (а может и нет)
PS: да был DTW на форуме, даже поиском находится https://www.mql5.com/ru/code/10755
крутил его когда то , но... все нужно перед применением напильником обработать )))
ох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.
ох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.
я и НС уже не хочу вертеть, занялся тестером МТ5 и его ГА, ГА довольно адекватно работает, можно быстро (4,5 х 10^142 вариантов тестировал!!! - около 2-3 часов) строить автоматом ТС, и потом тестировать на форварде, результаты довольно приемлемые, имхо
ЗЫ: но ГА тоже нужно напильником дорабатывать, тяжело подбирать входные параметры - даешь много будет тест лет 5, начинаешь рубить как не корректные вх.данные - тут как повезет или сразу нашел где оптить и ли вообще не найдет
я и НС уже не хочу вертеть, занялся тестером МТ5 и его ГА, ГА довольно адекватно работает, можно быстро (4,5 х 10^142 вариантов тестировал!!! - около 2-3 часов) строить автоматом ТС, и потом тестировать на форварде, результаты довольно приемлемые, имхо
я либо мониторинг скоро сделаю, либо статью напишу.. со статьей правда лень заморачиваться, много букав
все исключительно на питоне теперь. Очень сильно экономит время.
недостаток ГА в том, что он не обобщаетох не, ну его нафиг, пойду дальше нейросети вертеть. Не верю в такое.
да там очень много мороки и математической и технической поэтому этот концепт забросили...
я либо мониторинг скоро сделаю, либо статью напишу.. со статьей правда лень заморачиваться, много букав
все исключительно на питоне теперь. Очень сильно экономит время.
недостаток ГА в том, что он не обобщаетпочему не R например?