Пропали ядра после обновления тестера.

 

Пропали ядра после обновления тестера:

core

3 одинаковых процессора, но на первом все в порядке (так и было), а на остальных 2х пропало по 4 потока. Как восстановить 8 потоков?

Обновлял вручную, не помогло. Удалял и ставил снова, не помогло. Стоит Windows 7.

 

В клауде мы разрешаем использовать только реальные ядра.

Статистика показала что много задач в клауде фейлятся из-за недостатка ресурсов. Очень затратные эксперты пошли.

За последний месяц мы кардинально улучшили MQL5 Cloud Network в скорости и отзывчивости.


Когда перейдем на новый тестер, который будет использовать один процесс на все ядра вместо отдельных процессов для каждого ядра, мы резко понизим потребность в ресурсах за счет единых кешей и сможем гибко управлять нагрузкой на все ядра.

Вот тут более подробно описал планы: https://www.mql5.com/ru/forum/340770/page7#comment_16401357
Распределенные вычисления в сети MQL5 Cloud Network
Распределенные вычисления в сети MQL5 Cloud Network
  • cloud.mql5.com
Большую часть времени современные компьютеры простаивают и не используют всех возможностей процессора. Мы предлагаем задействовать их с пользой. Вы можете сдавать мощности вашего компьютера другим участникам нашей сети для выполнения разнообразных...
 
Renat Fatkhullin:

В клауде мы разрешаем использовать только реальные ядра.

Статистика показала что много задач в клауде фейлятся из-за недостатка ресурсов. Очень затратные эксперты пошли.

За последний месяц мы кардинально улучшили MQL5 Cloud Network в скорости и отзывчивости.


Когда перейдем на новый тестер, который будет использовать один процесс на все ядра вместо отдельных процессов для каждого ядра, мы резко понизим потребность в ресурсах за счет единых кешей и сможем гибко управлять нагрузкой на все ядра.

Вот тут более подробно описал планы: https://www.mql5.com/ru/forum/340770/page7#comment_16401357

Спасибо за ответ.

Пропали реальные ядра, т.е. тестер не видит разрешенные ядра.

В свете описанных планов, убедительная просьба сделать регулировку приоритета при простое системы перед другими расчетами (не mql). Например, майница моетка в фоне на минимальном приоритете и при поступлении задачи для тестера, он запускается в приоритете в соответствии с настройками (в даном случае выше чем расчет монетки). Это поможет майнерам пустить к себе в пул тестер mql cloud и тем самым увеличить мощность  MQL5 Cloud Network в целом. На сегодня тестер не дружит с майнерами и возможно по этой причине задачки фейлятся.

Распределенные вычисления в сети MQL5 Cloud Network
Распределенные вычисления в сети MQL5 Cloud Network
  • cloud.mql5.com
Большую часть времени современные компьютеры простаивают и не используют всех возможностей процессора. Мы предлагаем задействовать их с пользой. Вы можете сдавать мощности вашего компьютера другим участникам нашей сети для выполнения разнообразных...
 

Стало 4, как и должно быть -


Вот анонс от ноября прошлого года: пост #3

Metatester 5 agent manager strategy tester не видит потоки процессора.
Metatester 5 agent manager strategy tester не видит потоки процессора.
  • 2019.11.27
  • www.mql5.com
Здравствуйте, столкнулся с такой проблемой на windows 1909, программа не видит больше 8 потоков и следовательно агентов только 8, раньше мог выстав...
 
Sergey Golubev:

Стало 4, как и должно быть -


Вот анонс от ноября прошлого года: пост #3

Понятно. 1 ядро = 1 агент. Т.е. просто уменьшили вычислительную мощность сети за счет уменьшения кол-ва агентов , т.к. не хватает памяти. Где логика? ))) Простите.

Почему не сделать кол-во агентов по кол-ву памяти, если позволяют потоки процессора? Первопричина такого шага нехватка памяти агенту, правильно понимаю? Если так, то от кол-ва памяти и регулируйте кол-во агентов.

Сейчас у меня на системе с 16гб 8 агентов, а на системе с 32Гб 4 агента (аппаратная часть одинакова). Как так?


И о приоритете агента в ситеме, хотелось бы увидеть ответ.

 
1Serg:

Понятно. 1 ядро = 1 агент. Т.е. просто уменьшили вычислительную мощность сети за счет уменьшения кол-ва агентов , т.к. не хватает памяти. Где логика? ))) Простите.

Почему не сделать кол-во агентов по кол-ву памяти, если позволяют потоки процессора? Первопричина такого шага нехватка памяти агенту, правильно понимаю? Если так, то от кол-ва памяти и регулируйте кол-во агентов.

Сейчас у меня на системе с 16гб 8 агентов, а на системе с 32Гб 4 агента (аппаратная часть одинакова). Как так?


И о приоритете агента в ситеме, хотелось бы увидеть ответ.

Вот ближайшие планы -

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Новая версия платформы MetaTrader 5 build 2450: Сервис "Подписки", улучшения в интерфейсе и удобные функции в MetaEditor

Renat Fatkhullin, 2020.05.16 12:35

Да, весь тестер будет переписан, так как текущий захлебывается на данных и неудачной схеме масштабирования.

Каждый агент будет работать как микроклауд на N ядер, чтобы держать одну копию данных на N потоков. Так как наступило время NUMA архитектуры в массах, каждый агент будет четко жить в своей нума ноде, чтобы не иметь штрафов обращений к памяти за пределами своей ноды.

Это позволит кратно снизить потребности в памяти, уменьшить дисковую активность и повысить скорость оптимизации.

При этом главную роль будет всегда играть обьем оперативной памяти, которая позволяет держать больше кешей и быстро их выдавать.

Цель - вести массовый скрининг тысяч акций, куда мы идем с новой инициативой по запуску подписок на детализированные биржевые данные.


 
Sergey Golubev:

Вот ближайшие планы -


Цель - супер! Это как на finviz.com можно выбрать акции в МТ5 и быстро их графики просмотреть? В данный момент быстро переключаться межу графиками совершенно невозможно.

 
1Serg:

Цель - супер! Это как на finviz.com можно выбрать акции в МТ5 и быстро их графики просмотреть? В данный момент быстро переключаться между графиками совершенно невозможно.

Вот быстрый способ - пост #62
Новая версия платформы MetaTrader 5 build 2560: Улучшения во встроенной системе обучения
Новая версия платформы MetaTrader 5 build 2560: Улучшения во встроенной системе обучения
  • 2020.07.28
  • www.mql5.com
В пятницу 24 июля 2020 года будет выпущена обновленная версия платформы MetaTrader 5...
 
Renat Fatkhullin:

Очень затратные эксперты пошли.

Плохой массовый (из-за Маркета) код?

 
fxsaber:

Плохой массовый (из-за Маркета) код?

Просто затратные и неэффективные эксперты. Их везде много.

Мы ежедневно апгредим клауд сеть, меняя рейтинги и подстраиваясь под экспертов.

Теперь вместо чистого PR используется сложная формула, учитывающая:

  • PR - производительность CPU
  • объем оперативной памяти
  • объем свободной дисковой памяти
  • скорость чтения диска
  • пинг до ближайшего клауд сервера
  • процент сетевых потерь

Это позволило резко снизить задержки от того, что некоторые задачи попадали к откровенно тормозных агентам, которые задерживали все вычисления.


Сейчас распределением задач занимаются три клауд сервера в США, Германии и России, что позволило серьезно снизить задержки в сети и ускорить доставку данных.  Некоторые эксперты требуют репликации сотен гигабайт, а особо отличившиеся более террабайта.

 
Renat Fatkhullin:

Некоторые эксперты требуют репликации сотен гигабайт, а особо отличившиеся более террабайта.

Такие советники явно нарываются на вечный бан со стороны Клауда.

Возможно, для Маркет-продуктов стоит сообщать, сколько будет примерно стоить оптимизация в Клауде такого советника. Эти данные приводить на основании уже проделанных вычислений.


Например, если кто-то сделал 1000 проходов в клауде и заплатил 10 евро за это. То в Маркете сообщать, что на основании имеющихся данных каждые полноценные 1000 проходов отнимают в среднем 10 евро.

Причина обращения: