Еще одна тема про клауд, куда делись агенты?

 

Надо бы модераторам как то скомпоновать все темы


 

Бывают все агенты заняты другими участниками. Пара участников легко занимают 15 000 - 17 000 агентов.

В тот же день в другой вашей задаче было вам выделено 6 300 агентов.

 

Добрый день.

Подскажите пожалуйста, куда делись остальные 4 агента?


 
Ruslan Fakhretdinov:

Добрый день.

Подскажите пожалуйста, куда делись остальные 4 агента?


Intel Core i7-3770

Производительность

На одно ФИЗИЧЕСКОЕ ядро - один агент. Четыре ФИЗИЧЕСКИХ ядра - значит четыре агента. Теперь так.

Процессор Intel® Core™ i7-3770 (8 МБ кэш-памяти, тактовая частота до 3,90 ГГц) Спецификации продукции
  • ark.intel.com
Литография указывает на полупроводниковую технологию, используемую для производства интегрированных наборов микросхем и отчет показывается в нанометре (нм), что указывает на размер функций, встроенных в полупроводник. Условия использования Условия использования представляют собой условия окружающей среды и эксплуатации, вытекающие из контекста...
 
Ruslan Fakhretdinov:

Добрый день.

Подскажите пожалуйста, куда делись остальные 4 агента?


нашел пост -

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Metatester 5 agent manager strategy tester не видит потоки процессора.

Renat Fatkhullin, 2019.11.27 06:12

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Сейчас в клауде гоняют очень затратные задачи и у подавляющего большинства участников клауда банально не хватает памяти при множестве агентов. Например, по 2 гб на агента и 16 агентов уже минимум требуют 32 гб памяти, хотя обычно в наличии 8-16 гб.

В результате множество проходов фейлятся, впустую нагружая сеть и агентов. Но самое важное, тормозят обсчет из-за ожиданий результатов и рестарт задач.

Мы давно уже оцениваем приблизительную ресурсную достаточность агентов перед выдачей им задач и одно из самых действенных - работать только на физических ядрах в клауде.

Локально вы можете использовать все ядра так как легко можете управлять их отключением. 


 
Vladimir Karputov:

Теперь так.

Я этого и боялся...

Понятно. Спасибо за оперативный ответ.

 
Sergey Golubev:

нашел пост -

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Спасибо.

Я там предложение написал.

 
Vladimir Karputov:

Intel Core i7-3770

Производительность

На одно ФИЗИЧЕСКОЕ ядро - один агент. Четыре ФИЗИЧЕСКИХ ядра - значит четыре агента. Теперь так.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Metatester 5 agent manager strategy tester не видит потоки процессора.

Renat Fatkhullin, 2019.11.27 06:12

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

В клауде, согласен - это очень правильное решение! Но зачем ограничивать пользователей, которые работают локально? Например у меня 20 ПК (i7-4790K - 4 ядра, 8 логических процессоров) и каждый поддерживает 8 потоков, но вот в локальной сети я могу использовать только 4 потока с каждого компьютера. То есть использую мощность каждого ПК на половину.

Я бы хотел использовать все на 100%. Локально я же никому не доставляю никаких неудобств, если я задействовал в своей локальной сети все компьютеры на 100% (активировал все 8 потоков на каждом компьютере), значит я это делаю осознано и в клауде из-за моих действий никто не страдает.

В связи с этим просьба, добавить возможность использование всех потоков (предусмотренные процессором), при использовании в локальной сети. Или такая возможность уже есть, если да, подскажите как это реализовать?

 

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.



Не знаю, правильное, наверное, решение. На всякий случай одно наблюдение.

Не в MetaTester, а в других расчётах на процессоре (по алгоритму RandomX), Ryzen 5 2600 при 6 физических ядрах использует 8 потоков (или, если хотите, "агентов", ограничение 2 МБ кэша L3 на поток), а i7-9700F при 8 физических ядрах использует только 6 потоков из-за тех же ограничений. При этом оба процессора показывают примерно равную производительность.

Вывод? Пусть не все "гипертрединговые ядра"  одинаково полезны (да и ядра вообще -  физ. ядра у intel пока мощнее, но ситуация, очевидно, меняется - Ryzen'ы 5ххх на подходе!), но на Ryzen'ах (как минимум) политика их использования всё же должна быть гибче, естественно, с учётом прочих ограничений (по наличию свободной памяти, в первую очередь).

И ещё, что может даже важнее) Проблема клауда с падением скорости расчётов (по крайней мере в кластере "обычных" пользователей") лично мне видится  в наличии завышенных ожиданий у клауда по отношению ко входящим в него компьютерам. Пример. Задания в клауде появляются далеко не постоянно в течение суток. Комп простаивает, юзер ищет, чем его занять. И да, алгоритм RandomX - отличная вещь, чтобы занять работой простаивающий современный процессор. В итоге, когда появляется задание в клауде, проц уже занят. Мощности делятся минимум пополам - клауд видит падение скорости расчётов. ИМХО.