Новая версия платформы MetaTrader 5 build 5120: улучшения и исправления - страница 18

 
Forester #:

Еще раз проверил на MACD.
Начинает считать, но папки по прежнему пустые. У меня всё идет в память и в подкачку, т.к. всё не влезает в память. Видимо менеджер кешей у меня решает так делать, а у вас по другому.

То есть таким образом вы экономите время. У меня на запись истории в папки перед тестированием уходит несколько часов... Остается найти способ реализации вашего способа на моей системе )))

 
Evgeny Vlasov #:

То есть таким образом вы экономите время. У меня на запись истории в папки перед тестированием уходит несколько часов... Остается найти способ реализации вашего способа на моей системе )))

Странно. У меня секунды перед началом расчетов.
Я с 2017 по сегодня тики EURUSD использую с демо MQL. Попробуйте тоже на них и советник MACD.
 
Forester #:

Получается, что информация про использование 1 копии на жестком диске каждому агенту - устарела. Нашлась всего 1 копия для всех 72 агентов.

Странно, что MQ не опровергают эту информацию, когда ее кто-то снова вспоминает.

Да, тестерные агенты держат 1 копию данных на диске и совместно ее используют.

Это с самого начала так работает, иначе никаких дисков бы не хватило.

 
Forester #:

Получается, что информация про использование 1 копии на жестком диске каждому агенту - устарела. Нашлась всего 1 копия для всех 72 агентов.

Странно, что MQ не опровергают эту информацию, когда ее кто-то снова вспоминает.

На сколько помню, просьба была как раз про хранение в ОЗУ одной копии истории, а не для каждого агента отдельно.

 
Renat Fatkhullin #:

Да, тестерные агенты держат 1 копию данных на диске и совместно ее используют.

Это с самого начала так работает, иначе никаких дисков бы не хватило.

Такое ощущение, что мы живем в параллельных мирах... У меня история пишется для каждого агента тестирования, даже пришлось покупать диск на 8 Тб... У меня тестерные агенты действительно используют общую базу, но перед оптимизацией параллелят ее в папки для каждого потока... И тут возникает вопрос: Что является причиной отличий? Тип ОС? Используемый брокер? Серверная DDR? Несоответствие истории брокеров истории MQ?

 
Evgeny Vlasov #:

То есть таким образом вы экономите время. У меня на запись истории в папки перед тестированием уходит несколько часов... Остается найти способ реализации вашего способа на моей системе )))

Сделайте скриншот с копиями файлов истории в этих папках.Наподобие такого с .tkc файлами.

Renat Fatkhullin #:

Да, тестерные агенты держат 1 копию данных на диске и совместно ее используют.

Это с самого начала так работает, иначе никаких дисков бы не хватило.

Спасибо.
Aleksey Vyazmikin #:

На сколько помню, просьба была как раз про хранение в ОЗУ одной копии истории, а не для каждого агента отдельно.

Да, я это предлагал несколько страниц назад. Было бы здорово.
Думаю, что по одной линии связи если 72 процесса будут запрашивать 1 блок памяти или 72 блока-копии, разницы в скорости наверное нет. Линия связи одна и всех по очереди будет обслуживать.
Наверное 1 копию на канал самое оптимальное, каналы вроде независимо работают, т.е. как отдельные линии связи. И например при 2-х каналах не 72 агента из 1 блока памяти будут читать, а 36. Для 4х канальной памяти еще быстрее.
 
Forester #:
Сделайте скриншот с копиями файлов истории в этих папках.Наподобие такого с .tkc файлами.


Это папка 6-го потока, это оптимизация сейчас, объем файлов в папке 43 Гб.

 

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Ошибки, баги и вопросы Algo Forge и Git.

Vladislav Boyko, 2025.06.21 19:52

Alain Verleyen #:
Итак, что произошло, мы работаем в команде. У нас есть основная кодовая база с коммитом, сделанным 2 дня назад. Пока я работал над большим обновлением, мой партнер внес небольшие изменения в 2 файла. Чтобы получить эти 2 изменения в моей текущей работе, я сделал "Pull"...

Это жесткий косяк от MetaEditor (видеопруф). Я выполнил "$ git pull" из bash, и git любезно предотвратил потерю файла, который находится в состоянии modified:

error: Your local changes to the following files would be overwritten by merge:

        README.md

Please commit your changes or stash them before you merge.

Aborting


 
Evgeny Vlasov #:

Это папка 6-го потока, это оптимизация сейчас, объем файлов в папке 43 Гб.

Evgeny Vlasov #:

Такое ощущение, что мы живем в параллельных мирах... У меня история пишется для каждого агента тестирования, даже пришлось покупать диск на 8 Тб... У меня тестерные агенты действительно используют общую базу, но перед оптимизацией параллелят ее в папки для каждого потока... И тут возникает вопрос: Что является причиной отличий? Тип ОС? Используемый брокер? Серверная DDR? Несоответствие истории брокеров истории MQ?

В /temp каталоге не история под каждого агента, а попытка выжить тестеру в ситуации абсолютной недостачи оперативки.

Он сам свопит часть расчетного потока на диск в \temp\barXXX.tmp файлы

Поэтому мой совет остается в силе - уменьшайте количество агентов на тяжелых задачах и следите за доступной памятью. 
 
Forester #:

У меня только что было 72. Были добавлены на старом билде.


Для эксперимента удалил. Но добавить смог только 18 - число физ. ядер одного процессора.



А еще есть 18 физ. ядер у второго процессора. Просьба добавить возможность добавления всех физ ядер много-процессорных систем.

Да, оказалась ошибка в мульти-NUMA окружении - учитывались физические ядра NUMA 0. Не обновили оценку ядер в менеджере агентов во время переделки NUMA обвязки.

Уже исправлено:

  • Учитываются все физические ядра всех NUMA нод (гипертрединг ядра не учитываются)

  • Для систем с явными Performance / Efficient / Low Power Efficient ядрами учитываются только физические P и E ядра, а LP-E вообще не учитываются (они даже операционкой не используются во время активности компьютера)

    Например: Intel Ultra 9 185Р имеет 6 Performance + гипертрединг, 8 Efficient и 2 Low Power ядер, что в панели отображается как 22 ядра = 6 * 2 + 8 + 2

    В менеджере агентов будет выставлен лимит в 14 ядер = 6 + 8