Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2806

 
Aleksey Vyazmikin #:

Поменял местами и нормально вроде стало

.

 
mytarmailS #:

.

Ваш скрипт поедает почти 9 гигабайт на моей выборке ОЗУ, но вроде как работает, файлы сохраняются. Даже не знаю, куда расходуется там память, тогда как выборка занимает чуть больше гигабайта.

 
mytarmailS #:

.

Ещё неприятность обнаружилась - заголовки в таблице (название столбцов) сохраняются в кавычках - как это отключить?

[Удален]  

а че этот код делает-то? Для скоRости надо пRивести все столбцы к одному типу данных (float 32, 16 - не надо, будет медленней) и чеRез быстRые массивы посчитать коRR

если речь о реальном исправлении каRмы

 
Aleksey Vyazmikin #:

Ваш скрипт поедает почти 9 гигабайт на моей выборке ОЗУ, но вроде как работает, файлы сохраняются. Даже не знаю, куда расходуется там память, тогда как выборка занимает чуть больше гигабайта.

и что?

Р плохой наверное)

Aleksey Vyazmikin #:

Ещё неприятность обнаружилась - заголовки в таблице (название столбцов) сохраняются в кавычках - как это отключить?

что ты делал чтобы решить проблему?

 
mytarmailS #:

и что?

Р плохой наверное)

что ты делал чтобы решить проблему?

Плохой\хороший - слишком критическое суждение.

Явно, что код пакета не эффективно работает с памятью, зато может быстро, или скрипт много раз копирует всю таблицу\выборку.

А что сделал - нашел проблему и сообщил профессионалу в надежде на помощь.

 
Maxim Dmitrievsky #:

а че этот код делает-то? Для скоRости надо пRивести все столбцы к одному типу данных (float 32, 16 - не надо, будет медленней) и чеRез быстRые массивы посчитать коRR

если речь о реальном исправлении каRмы

На сколько я понял, в R вообще нет понятия разных типов данных (int, float и т.д.). И, это уменьшит объем памяти, но на скорости не скажется особо. На видеокартах - там да - будет прирост.

[Удален]  
Aleksey Vyazmikin #:

На сколько я понял, в R вообще нет понятия разных типов данных (int, float и т.д.). И, это уменьшит объем памяти, но на скорости не скажется особо. На видеокартах - там да - будет прирост.

все там есть. На скорости скажется катастрофически. Датафреймы это самые медленные звери с большим оверхедом.

речь не про видеокарты, а про понимание что через датафреймы такое не считается в трезвом состоянии

 
Aleksey Vyazmikin #:

наводка: нужно ли использовать вектора в 100 000 наблюдений чтобы посмотреть корреляцию между ними?

при том что ищуться высококоррелированые вектора т.е. с корреляцией больше 0,9
 
Незачто