Вопрос разработчикам - использование всех вычислительных ядер при оптимизации - страница 7

 
Boris Egorov:

вторые сутки ничего не считает, все ядра в количестве 12 локальных и еще около 30 сетевых простаивают, специально не трогаю ... полный перебор, не знаю о чём там оно думает, наверно  смысл жизни ищет или лекарство от короновируса :-)

думаю надо отказываться от оптимизатора ввиду его неработоспособности и тормознутости

и последние решения принятые МТ типа ограничить только физическими ядрами, упорно и тупо раздавать по куче заданий только определенным ядрам а не каждому ядру - одно задание - говорит о тотальном непонимании разработчиками высокопроизводительных расчетов

Почему бы Вам не показать полный скриншот списка агентов, а не часть его?

Логи тестера.

Монитор ресурсов.

Похоже Вы перегрузили не только свой комп (к вопросу о логических и физических ядрах), но и ферму

 
Slava:

Почему бы Вам не показать полный скриншот списка агентов, а не часть его?

Логи тестера.

Монитор ресурсов.

Похоже Вы перегрузили не только свой комп (к вопросу о логических и физических ядрах), но и ферму

да не вопрос 

только там тоже самое ... доступные и простаивают 

в логах ничего такого не увидел к чему можно придраться

и ничего я не перепутал ... читайте пост выше

 

Кстати что касается логов тоже отдельная грустная история

много раз разработчиков просили сделать опцию их отключения или ограничения размера - и результат ноль

в результате логи съедают все дисковое пространство .... со всеми вытекающими последствиями

я вот журнал эпизадически удаляю ... log файлы мне не нужны как класс, ошибки если есть видны сразу в окне журнала 

 

вот со вчерашнего дня всего чуть просчитал


 
подтвердилась инфа о перегрузке памяти .... хотя странно, swap никто не отменял, опять же думаю разработчикам надо это учесть
 
Boris Egorov:
подтвердилась инфа о перегрузке памяти .... хотя странно, swap никто не отменял, опять же думаю разработчикам надо это учесть

Может Вы показывали, я не смотрел - на всякий случай скажу, что на одно ядро рекомендуется 1Гб памяти (с большим количеством ядер можно попробовать по 0.5Гб). А pagefile рекомендую в двойной размер памяти, а не в половинный, как обычно рекомендуют. Убедился на практике.

 

>на одно ядро рекомендуется 1Гб памяти

буду учитывать

 

есть возможность всегда равномерно загружать всех агентов работой. это возможно либо применяя кастомный менеджер задач для агентов (я это сделал), либо изменить алгоритм га штатного оптимизатора (исправления не значительные, кстати), но разработчики пока не готовы выслушать мои предложения, к сожалению.

кастомный менеджер задач для агентов я реализовал для моего итальянского заказчика, он использует арендованные мощные серверы с несколькими сотнями агентов и он постоянно страдал из за неполной загрузки серверов, поскольку агенты простаивали. теперь все агенты загружены полностью независимо от того, какой агент завершит задачу раньше (независимо от времени выполнения задачи на каждом отдельно взятом агенте).

 
Andrey Dik:

кастомный менеджер задач для агентов я реализовал для моего итальянского заказчика, он использует арендованные мощные серверы с несколькими сотнями агентов и он постоянно страдал из за неполной загрузки серверов, поскольку агенты простаивали. теперь все агенты загружены полностью независимо от того, какой агент завершит задачу раньше (независимо от времени выполнения задачи на каждом отдельно взятом агенте).

Хвастаться нехорошо )

На чем основан менеджер? Как происходит распределение задач?

 
Andrey Khatimlianskii:

Хвастаться нехорошо )

На чем основан менеджер? Как происходит распределение задач?

хвастаться? - неее. я даже близко не смогу приблизится по качеству и функционалу к МТ5 если вздумаю написать для себя некую аналитическую платформу для торговли, проще стимулировать разработчиков подкидывая им идеи...)))

в оптимизируемом советнике добавляется дополнительный инпут параметр счетчик, который перебирается оптимизатором МТ5 в режиме полный перебор, можно выставлять вплоть до 100мио шагов что бы оптимизатор не переключился на генетику. менеджер висит в виде советника на чарте терминала и пишет задания в папку агентов, а оптимизируемый советник в оптимизиторе читает задания и по завершению прохода пишет результат. оптимизатор МТ5 в режиме полного перебора очень равномерно нагружает агентов, а задача менеджера подсовывать инпут параметры агентам.

трудность была лишь написать га в менеджере, котрый мог бы работать с особями в популяции в поточном режиме без необходимости наполнять популяюцию полностью прежде чем начинать новую эпоху. это я решил. по сути я упразднил понятие "эпоха", особи рождаются и умирают сами по себе. тот же самый механизм я предлагал разработчикам, при чем подобный лайфхак можно использовать не только с га. но и с другими АО, муравьиный, рой частиц и других, любых.

Причина обращения: