Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3258

 
Maxim Dmitrievsky #:

Замер времени с учетом создания матрицы

Сохраните обе матрицы в файлы для сверки результатов.

 
Aleksey Vyazmikin #:

Вот на R ChatGPT предлагает

Этот вариант R почти в 6 раз уступает NumPy.

 
Aleksey Vyazmikin #:

Как я понимаю, питон может работать с целочисленной матрицей и тут скорости уже другого порядка

Если код корректен, то результат таков

Вопрос точности/сопоаставимости результатов самих вычислений нужно проверять.

Судя по

Array size: 0.0762939453125 MB
Посчитана матрица 100*100 а не 15000*15000
 
Forester #:

С памятью все хуже.
Перед запуском



А во время работы Алглибовского PearsonCorrM память все время растет: и 5 гг видел, на скрин 4,6 попало


и во время работы штатного Matrix.CorrCoef

Видимо штатный оптиизирован для мин. использования памяти, а алглибовский оптимизирован на скорость.

Возможно где-то resize массива происходит, что очень медленно. Если найти и сразу задать финальный размер, то может и быстрее будет

[Удален]  

Вы изумительно умеете переводить любую идею на г.. подсчет всяких малоинтересных результатов :) 

Алексей особенный любитель

[Удален]  
fxsaber #:

Сохраните обе матрицы в файлы для сверки результатов.

https://drive.google.com/file/d/1ATJkHwUY8jzeRp-rdTsYBeYHor-68EPB/view?usp=share_link

 
Вам нужен инструмент который может считать матрицу вне памяти
Это главный приоритет, а не скорость подсчета матрицы. 
Потому что если оперативки не хватит(а её не хватит) то какая разница с какой скоростью матрица считаеться
[Удален]  
Можно взять терабайтник и посчитать на диске, будет специальный диск под матрицу 💩
 
Forester #:

Судя по

Посчитана матрица 100*100 а не 15000*15000
15000 * 100 * 4 bytes / 1024 / 1024 ≈ 5.72 MB
 
mytarmailS #:
Вам нужен инструмент который может считать матрицу вне памяти
Это главный приоритет, а не скорость подсчета в памяти. 
Потому что если оперативки не хватит(а её не хватит) то какая разница с какой скоростью матрица считаеться

Пока не вижу технического препятствия считать матрицу миллион на миллион на простой домашней машине. Но сравнение NumPy vs MQL5 для меня имеет большое значение.