Пропали ядра после обновления тестера. - страница 2

 
Renat Fatkhullin:

Просто затратные и неэффективные эксперты. Их везде много.

Мы ежедневно апгредим клауд сеть, меняя рейтинги и подстраиваясь под экспертов.

Теперь вместо чистого PR используется сложная формула, учитывающая:

  • PR - производительность CPU
  • объем оперативной памяти
  • объем свободной дисковой памяти
  • скорость чтения диска
  • пинг до ближайшего клауд сервера
  • процент сетевых потерь

Это позволило резко снизить задержки от того, что некоторые задачи попадали к откровенно тормозных агентам, которые задерживали все вычисления.


Сейчас распределением задач занимаются три клауд сервера в США, Германии и России, что позволило серьезно снизить задержки в сети и ускорить доставку данных.  Некоторые эксперты требуют репликации сотен гигабайт, а особо отличившиеся более террабайта.

А почему бы не сделать раздачу задач от одного советника агентам на одном физическом компьютере, или это уже сделано?

Идея в том, что если советник использует внешние файлы, допустим таблицу какую csv, то её приходиться закачивать для каждого агента, а хотелось бы передавать один раз на физический компьютер, что существенно снизит трафик.

И, про потоки, может просто сделать, что если человек ставит галочку, разрешающую продажу ресурсов в сеть, то часть агентов автоматически удаляется, а если нет, то используются все?

Ранее произведенные мной тесты показали, что преимущество от потоков может быть существенным в расчетах - многое зависит от процессоров и задач, которые приходиться вычислять.

Оцениваем ядра CPU для оптимизации
Оцениваем ядра CPU для оптимизации
  • 2019.08.09
  • www.mql5.com
Предлагаю собрать статистику по производительности разных процессоров с целью оценки их эффективности для работы тестера стратегий в режиме оптимиз...
 

Простаивают ядра и агенты... за всю неделю прошел всего 1 тест вернее 1 раз использовалось 87 тестов всего - хотя компьютер ни разу не выключался....


Планируется ли использовать свободные ресурсы 35000 агентов для Майнинга битка?

мне кажется что тогда выплаты соучастникам гораздо будут больше - так как увидел максимальную загрузку 12-13.000 агентов - простаивают остальные 20...25000

 
fxsaber:

Такие советники явно нарываются на вечный бан со стороны Клауда.

Возможно, для Маркет-продуктов стоит сообщать, сколько будет примерно стоить оптимизация в Клауде такого советника. Эти данные приводить на основании уже проделанных вычислений.


Например, если кто-то сделал 1000 проходов в клауде и заплатил 10 евро за это. То в Маркете сообщать, что на основании имеющихся данных каждые полноценные 1000 проходов отнимают в среднем 10 евро.

Все зависит от глубины анализируемой истории. Причем связь нелинейная.

Кроме того, от параметров зависит.


Но мы скоро в терминале будем показывать приблизительную оценку стоимости оптимизации в клауде на основе нескольких проходов на локальных ядрах.

 
Aleksey Vyazmikin:

А почему бы не сделать раздачу задач от одного советника агентам на одном физическом компьютере, или это уже сделано?

Идея в том, что если советник использует внешние файлы, допустим таблицу какую csv, то её приходиться закачивать для каждого агента, а хотелось бы передавать один раз на физический компьютер, что существенно снизит трафик.

И, про потоки, может просто сделать, что если человек ставит галочку, разрешающую продажу ресурсов в сеть, то часть агентов автоматически удаляется, а если нет, то используются все?

Ранее произведенные мной тесты показали, что преимущество от потоков может быть существенным в расчетах - многое зависит от процессоров и задач, которые приходиться вычислять.

Как перейдем к схеме "агент как микроклауд", то трафик снизится, как и потребление ресурсов.

Сейчас в клауде закачка истории на все ядра идет экономно - выбирается мастер-агент, которые и синхронизирует однократную докачку.


Без клауда можете использовать все ядра. Клауд все равно знает, сколько физических ядер и раздаст задания на одно устройство по их количеству.

 
Aleksander:

Простаивают ядра и агенты... за всю неделю прошел всего 1 тест вернее 1 раз использовалось 87 тестов всего - хотя компьютер ни разу не выключался....


Планируется ли использовать свободные ресурсы 35000 агентов для Майнинга битка?

мне кажется что тогда выплаты соучастникам гораздо будут больше - так как увидел максимальную загрузку 12-13.000 агентов - простаивают остальные 20...25000

Никаких попыток майнинга.

Сейчас мы работаем над расширением использования клауда в оптимизациях:

  • расширим подсказки в терминале с прогнозными значениями
  • напишем статьи с детальным разбором как все работает и почему это выгодно

Цены в клауде низкие, а эффект от ускорения огромный.

Лично я сам гоняю задачи только в клауде, так как это очень быстро и позволяет в это время нормально пользоваться своим компьютеров для других задач.

Потратить 5 долларов в день на несколько экспериментов - это мизер.

 
Renat Fatkhullin:

Сейчас в клауде закачка истории на все ядра идет экономно - выбирается мастер-агент, которые и синхронизирует однократную докачку.

Почему так не сделано для локальных агентов в своей сети?

Renat Fatkhullin:

Без клауда можете использовать все ядра. Клауд все равно знает, сколько физических ядер и раздаст задания на одно устройство по их количеству.

Я не про ядра, а про потоки - их же Вы зарезали, для Клауда - пусть, но для своей сети почему нельзя - решение то я простое предложил?

 
Aleksey Vyazmikin:

Почему так не сделано для локальных агентов в своей сети?

Сделано с самого начала.

На диске хранится одна копия исторических данных


Я не про ядра, а про потоки - их же Вы зарезали, для Клауда - пусть, но для своей сети почему нельзя - решение то я простое предложил?

Поставьте рядом второго агента со вторым набором ядер, если хотите.

 
Renat Fatkhullin:

Сделано с самого начала.

На диске хранится одна копия исторических данных

Я говорю не про исторические данные, а внешние ресурсы, такие как базы данных, в том числе таблиц csv, которые подключаются таким образом

#property tester_file"CB_00"+"\\Models_Test.csv";

они отдельно закачиваются для каждого агента.

Renat Fatkhullin:

Поставьте рядом второго агента со вторым набором ядер, если хотите.

Не понял фразу - на одного агента одно ядро, как может быть набор ядер? О чем речь, как поставить?

 
Расчетные задачи и их потребности у агентов свои. Совместно используются лишь чарты и тики.


 
Renat Fatkhullin:
Расчетные задачи и их потребности у агентов свои. Совместно используются лишь чарты и тики.


Это каким образом при оптимизации одного советника задачи то разные? Разная область поиска решения, но данные то едины. Я говорю в первую очередь о локальных агентах, и это особенно актуально, когда передаваемые данные исчисляются сотнями мегабайт.

Причина обращения: