Еще одна тема про клауд, куда делись агенты?

[Alexandr Andreev]

Надо бы модераторам как то скомпоновать все темы

[Renat Fatkhullin]

Бывают все агенты заняты другими участниками. Пара участников легко занимают 15 000 - 17 000 агентов.

В тот же день в другой вашей задаче было вам выделено 6 300 агентов.

[Ruslan Fakhretdinov]

Добрый день.

Подскажите пожалуйста, куда делись остальные 4 агента?

[Vladimir Karputov]

Ruslan Fakhretdinov:

Добрый день.

Подскажите пожалуйста, куда делись остальные 4 агента?

Intel Core i7-3770

Производительность

• Количество ядер4
  
• Количество потоков8

На одно ФИЗИЧЕСКОЕ ядро - один агент. Четыре ФИЗИЧЕСКИХ ядра - значит четыре агента. Теперь так.

[Sergey Golubev]

Ruslan Fakhretdinov:

Добрый день.

Подскажите пожалуйста, куда делись остальные 4 агента?

нашел пост -

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Metatester 5 agent manager strategy tester не видит потоки процессора.

Renat Fatkhullin, 2019.11.27 06:12

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Сейчас в клауде гоняют очень затратные задачи и у подавляющего большинства участников клауда банально не хватает памяти при множестве агентов. Например, по 2 гб на агента и 16 агентов уже минимум требуют 32 гб памяти, хотя обычно в наличии 8-16 гб.

В результате множество проходов фейлятся, впустую нагружая сеть и агентов. Но самое важное, тормозят обсчет из-за ожиданий результатов и рестарт задач.

Мы давно уже оцениваем приблизительную ресурсную достаточность агентов перед выдачей им задач и одно из самых действенных - работать только на физических ядрах в клауде.

Локально вы можете использовать все ядра так как легко можете управлять их отключением. 

[Ruslan Fakhretdinov]

Vladimir Karputov:

Теперь так.

Я этого и боялся...

Понятно. Спасибо за оперативный ответ.

[Ruslan Fakhretdinov]

Sergey Golubev:

нашел пост -

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Спасибо.

Я там предложение написал.

[Stanislau Siatsko]

Vladimir Karputov:

Intel Core i7-3770

Производительность

• Количество ядер4
  
• Количество потоков8

На одно ФИЗИЧЕСКОЕ ядро - один агент. Четыре ФИЗИЧЕСКИХ ядра - значит четыре агента. Теперь так.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Metatester 5 agent manager strategy tester не видит потоки процессора.

Renat Fatkhullin, 2019.11.27 06:12

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

В клауде, согласен - это очень правильное решение! Но зачем ограничивать пользователей, которые работают локально? Например у меня 20 ПК (i7-4790K - 4 ядра, 8 логических процессоров) и каждый поддерживает 8 потоков, но вот в локальной сети я могу использовать только 4 потока с каждого компьютера. То есть использую мощность каждого ПК на половину.

Я бы хотел использовать все на 100%. Локально я же никому не доставляю никаких неудобств, если я задействовал в своей локальной сети все компьютеры на 100% (активировал все 8 потоков на каждом компьютере), значит я это делаю осознано и в клауде из-за моих действий никто не страдает.

В связи с этим просьба, добавить возможность использование всех потоков (предусмотренные процессором), при использовании в локальной сети. Или такая возможность уже есть, если да, подскажите как это реализовать?

[igogo]

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

В связи с откровенной нехваткой памяти при чрезмерном количестве агентов и падением скорости расчетов на гипертрединговых ядрах мы приняли решение ограничиться только физическими ядрами при работе в клауде.

Не знаю, правильное, наверное, решение. На всякий случай одно наблюдение.

Не в MetaTester, а в других расчётах на процессоре (по алгоритму RandomX), Ryzen 5 2600 при 6 физических ядрах использует 8 потоков (или, если хотите, "агентов", ограничение 2 МБ кэша L3 на поток), а i7-9700F при 8 физических ядрах использует только 6 потоков из-за тех же ограничений. При этом оба процессора показывают примерно равную производительность.

Вывод? Пусть не все "гипертрединговые ядра"  одинаково полезны (да и ядра вообще -  физ. ядра у intel пока мощнее, но ситуация, очевидно, меняется - Ryzen'ы 5ххх на подходе!), но на Ryzen'ах (как минимум) политика их использования всё же должна быть гибче, естественно, с учётом прочих ограничений (по наличию свободной памяти, в первую очередь).

И ещё, что может даже важнее) Проблема клауда с падением скорости расчётов (по крайней мере в кластере "обычных" пользователей") лично мне видится  в наличии завышенных ожиданий у клауда по отношению ко входящим в него компьютерам. Пример. Задания в клауде появляются далеко не постоянно в течение суток. Комп простаивает, юзер ищет, чем его занять. И да, алгоритм RandomX - отличная вещь, чтобы занять работой простаивающий современный процессор. В итоге, когда появляется задание в клауде, проц уже занят. Мощности делятся минимум пополам - клауд видит падение скорости расчётов. ИМХО.