Metatester 5 agent manager strategy tester не видит потоки процессора.

 

Здравствуйте, столкнулся с такой проблемой на windows 1909, программа не видит больше 8 потоков и следовательно агентов только 8, раньше мог выставить 16. Может кто знает решение проблемы? 

Процессор Ryzen 7 1700 16 GB RAM. 

Файлы:
r.jpg  106 kb
 
Дмитрий Бибиков:

Здравствуйте, столкнулся с такой проблемой на windows 1909, программа не видит больше 8 потоков и следовательно агентов только 8, раньше мог выставить 16. Может кто знает решение проблемы? 

Процессор Ryzen 7 1700 16 GB RAM. 

Количество агентов = количеству физических ядер процессора
 
Ruslan Khasanov:
Количество агентов = количеству физических ядер процессора
Количество логических процессоров. Или что-то уже поменялось?
 

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Сейчас в клауде гоняют очень затратные задачи и у подавляющего большинства участников клауда банально не хватает памяти при множестве агентов. Например, по 2 гб на агента и 16 агентов уже минимум требуют 32 гб памяти, хотя обычно в наличии 8-16 гб.

В результате множество проходов фейлятся, впустую нагружая сеть и агентов. Но самое важное, тормозят обсчет из-за ожиданий результатов и рестарт задач.

Мы давно уже оцениваем приблизительную ресурсную достаточность агентов перед выдачей им задач и одно из самых действенных - работать только на физических ядрах в клауде.

Локально вы можете использовать все ядра так как легко можете управлять их отключением. 

 
Renat Fatkhullin:
   

Мы давно уже оцениваем приблизительную ресурсную достаточность агентов перед выдачей им задач и одно из самых действенных - работать только на физических ядрах в клауде.

Локально вы можете использовать все ядра так как легко можете управлять их отключением. 

То есть, в локальной сети - я могу не опасаться, что потоков будет меньше ? (Ни разу не замечал, чтобы проходы фейлились из-за каких-то нехваток, всегда только из-за моих собственных ошибок).

По моим прикидкам, гипертрейдинг при оптимизации, когда котировочные данные умещаются в кэш процессора - дает заметный прирост производительности.

 
Georgiy Merts:

То есть, в локальной сети - я могу не опасаться, что потоков будет меньше ? (Ни разу не замечал, чтобы проходы фейлились из-за каких-то нехваток, всегда только из-за моих собственных ошибок).

По моим прикидкам, гипертрейдинг при оптимизации, когда котировочные данные умещаются в кэш процессора - дает заметный прирост производительности.

Никакие котировочные данные в кеш не помещаются даже близко. Тем более, гипертрейдинг еще быстрее убивает эффективность кешей процессора.

В локальной сети тоже базовые лимиты по числу физических ядер.

 

После релиза мы беремся на кардинальную перестройку ресурсного управления тестера и его агентов.

В первую очередь это коснется эффективности локальных агентов.

 
Renat Fatkhullin:

Никакие котировочные данные в кеш не помещаются даже близко. Тем более, гипертрейдинг еще быстрее убивает эффективность кешей процессора.

В локальной сети тоже базовые лимиты по числу физических ядер.

Да ?

Очень странно - я в своих испытаниях отметил резкое изменение скорости где-то на полтора-двухлетнем периоде M1 OHLC - если на пару месяцев брать больше, скорость несоразмерно падает (гипертрейдинг включен). Выключение гипертрейдинга - заметно уменьшает скорость тестирования.

Как это можно объяснить, кроме как тем, что большая часть данных М1 OHLC умещается в кэш ?   

 
Georgiy Merts:

Очень странно - я в своих испытаниях отметил резкое изменение скорости где-то на полтора-двухлетнем периоде M1 OHLC - если на пару месяцев брать больше, скорость несоразмерно падает (гипертрейдинг включен). Выключение гипертрейдинга - заметно уменьшает скорость тестирования.

Лучше всего с цифрами и возможностью воспроизведения.

 
Georgiy Merts:

Как это можно объяснить, кроме как тем, что большая часть данных М1 OHLC умещается в кэш ?   

Чем угодно, но не "данные баров умещаются в кеш".

Размеры L1/L2/L3 кешей конечно имеют огромное/грандиозное значение для общей производительности всех программ на компьютере. Но думать, что какие-то данные целиком сядут в кеш, абсолютно нельзя. От отравляется и инвалидируется так часто, что держит самую малость и мелкими линейками.

 
Renat Fatkhullin:

Чем угодно, но не "данные баров умещаются в кеш".

Размеры L1/L2/L3 кешей конечно имеют огромное/грандиозное значение для общей производительности всех программ на компьютере. Но думать, что какие-то данные целиком сядут в кеш, абсолютно нельзя. От отравляется и инвалидируется так часто, что держит самую малость и мелкими линейками.

Да ведь не надо, чтобы данные целиком туда помещались. Главное, чтобы в нем были данные, которые обсчитывает одновременно два и более потока. А такая ситуация в случае оптимизации в локальной сети и на локальном компьютере, по-моему, очень даже типична.

Но, согласен, надо провести более формальное исследование.
Причина обращения: