Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3270

Новый комментарий
 
fxsaber #:
В NumPy, похоже, иной от ALglib алгоритм

У Максима проц раза в 2 быстрее моего. А приводил ли он тайминги для Algliba уже не помню, кажется нет.

 
fxsaber #:

Сравните со старой версией Alglib. У меня нет данных, что стало медленнее.

Вы же сами писали что штатный медленнее текущего алглибовского. Старый у меня есть в виде кода, но не терминала.
 
Forester #:

У Максима проц раза в 2 быстрее моего. А приводил ли он тайминги для Algliba уже не помню, кажется нет.

Тайминги.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория, модели, практика и алготорговля

Aleksey Vyazmikin, 2023.09.26 05:37

Для статистики такой результат у меня

2023.09.26 06:28:23.304 Test_Corr (USDJPY,H1)   EX5: 3981 AVX Release.
2023.09.26 06:28:23.304 Test_Corr (USDJPY,H1)   TerminalInfoString(TERMINAL_CPU_NAME) = AMD FX-8350 Eight-Core 
2023.09.26 06:28:23.304 Test_Corr (USDJPY,H1)   TerminalInfoInteger(TERMINAL_CPU_CORES) = 8 
2023.09.26 06:28:23.304 Test_Corr (USDJPY,H1)   TerminalInfoString(TERMINAL_CPU_ARCHITECTURE) = AVX 
2023.09.26 06:28:23.332 Test_Corr (USDJPY,H1)   inRows = 100 inCols = 15000 
2023.09.26 06:28:45.032 Test_Corr (USDJPY,H1)   matrix<double> Matrix1 = CorrMatrix(Matrix) - 21700095 mcs, 1717 MB
2023.09.26 06:29:48.495 Test_Corr (USDJPY,H1)   matrix<double> Matrix2 = Matrix.CorrCoef(false) - 63460976 mcs, 1717 MB
2023.09.26 06:29:50.225 Test_Corr (USDJPY,H1)   IsEqual(Matrix1, Matrix2) = true
Явно Python гораздо быстрей. А значит и на C будет быстрей, выходит, что MQ чего то нам не договаривают, обещая сопоставимую производительность...

Замечу, что у Python при запуске кода происходит небольшое распараллеливание - на пол секунды примерно на два ядра, остаток на одном ядре считает.

 
Forester #:
Вы же сами писали что штатный медленнее текущего алглибовского. Старый у меня есть в виде кода, но не терминала.

Сам исходник Alglib был MQ переписан под свои матрицы. Штатный CorrCoef даже обсуждать не хочу, там явные проблемы.

Т.е. есть два исходника Alglib.

  • Оригинальный на динамических массивах ДО MQ-преобразования.
  • Измененный MQ под свои матричные/векторные типы. Вот его и проверял.
Исходники обеих версий Alglib должны быть доступны, так что можно сравнить их между собой.
 
fxsaber #:

Тайминги.


Ну да... алгоритмам люди годы посвящают. Видел статью про быстрые сортировки на С++ - код вроде бы сложнее и лишние действия делает, но работает быстрее, за счет пред-расчетов процессора. Заглядывает вперед...
 
fxsaber #:

Сам исходник Alglib был MQ переписан под свои матрицы. Штатный CorrCoef даже обсуждать не хочу, там явные проблемы.

Т.е. есть два исходника Alglib.

  • Оригинальный на динамических массивах ДО MQ-преобразования.
  • Измененный MQ под свои матричные/векторные типы. Вот его и проверял.
Исходники обеих версий Alglib должны быть доступны, так что можно сравнить их между собой.
Мне - лень. Корреляцией не пользуюсь. Просто год назад заметил разницу в скорости и поделился, когда тема всплыла.
 
fxsaber #:
В NumPy, похоже, иной от ALglib алгоритм

В AlgLib, в оригинальной документации написано почему другие, какие именно и для чего предназначены. С регрессиями (я в основном там копался в AlgLib) там довольно оригинально сделано. 

опять-же странно всё сравнивается, как нельзя. Постройте графики зависимостей  скорость=f(размерность,особые_свойства_матриц) для разных библиотек/реализаций и по ним уже смотрите. Вы берёте краевые случаи, причём взятые с потолка. 

и там смотрится не абс.величина а симптоматика и наличие "плато". Оттуда уже выбирается средство для работы с конкретными данными. 

[Удален]  
Forester #:

У Максима проц раза в 2 быстрее моего. А приводил ли он тайминги для Algliba уже не помню, кажется нет.

у меня мт через виртуалку там, тесты будут не очень правдоподобные

плюс выбрал для себя считать что-нибудь на питоне, а потом переносить в любую платформу. Например, для крипты вообще терминалы не нужны.

Это вообще дичь по скорости
 
Maxim Kuznetsov #:

опять-же странно всё сравнивается, как нельзя.

Не занимаюсь сравнением, а предоставляю код, который каждый для своего случая может померить.

Длина строки 100 - это длина паттерна. Наверное, больше не нужно.

15000 сэмплов - ограничен по памяти из-за квадратичного размера корреляционной матрицы. Чем больше сэмплов, тем лучше. Поэтому и написал самоделку, где их может быть хоть миллион.

Тратить время на объективное сравнение нет ни желания, ни времени. Под свои задачи делал, поделился рабочим кодом. Кому надо - посмотрит.

 
Эхх..  Если бы хоть 5% всех наших усилий направить на общую задачу, то мы бы этот рынок бы покорили за месяцы

А так годами, десятилетиями каждый вариться в своём супчике и 90% полезного времени тратит на бесполезный этот форум
1...326332643265326632673268326932703271327232733274327532763277...3745
Новый комментарий