Ускорение оптимизации в MT5 - варианты решений - страница 6

Новый комментарий
 
Alexey Viktorov #:

Говорят, что среднестатистический пользователь «нарабатывает» чтение\запись в год около 4 тб.

Каждый запуск одиночного прохода - чтение (может и запись быть) соответствующих Tester\bases\*.*.

Иногда за сутки делаю несколько тысяч одиночных проходов. Где-то по гигабайту на проход данных.


Т.е. за сутки могу выработать почти годовую норму среднего человека на чтение данных.

TesterDashboard - эффективное привлечение эволюционной интеллектуальной машины к поиску закономерностей.
TesterDashboard - эффективное привлечение эволюционной интеллектуальной машины к поиску закономерностей.
  • 2021.10.14
  • www.mql5.com
Идея не нова, вопрос был только в реализации. Платформа MetaTrader 5 обладает возможностями автоматизации Тестера. Расчет огромного количества данных на истории реальных тиков - обыденность . Проверка
 
fxsaber #:
Иногда за сутки делаю несколько тысяч одиночных проходов. Где-то по гигабайту на проход данных.

Во-во! Если серьезный робот, в нём могут быть сотни параметров, да если еще на большой истории, то и эти ваши данные могут быть увеличены на порядок, а может и не на один.

Поэтому исходить из ресурса для "среднего пользователя", который только в соцсети ходит, тут не прокатывает.

_____________________

Вы наверно сможете ответить на мой вопрос, который я уже задавал, но ответа не получил.

Майнеры используют видеокарты. Правильно ли я понимаю, что их задачи аналогичны оптимизации (вычислительные) и наверно можно было бы пойти их путём? Сильно помочь процессору. Нет?

Как и почему у них получается так, что для них не камни главное?

 
fxsaber #:

Каждый запуск одиночного прохода - чтение (может и запись быть) соответствующих Tester\bases\*.*.

Иногда за сутки делаю несколько тысяч одиночных проходов. Где-то по гигабайту на проход данных.


Т.е. за сутки могу выработать почти годовую норму среднего человека на чтение данных.

Так ведь разговор о среднестатистических пользователях, к которым вы никак не относитесь.

Да и наверное я не совсем точно помню. Может быть говорилось о перезаписи, а не чтение\запись… Тика дописываются, а не перезаписываются…
 

Про ресурс SSD очень много споров в сети, нет смысла пережёвывать без доказательств, замеров и личного опыта.

Зачем выбирать между? Что мешает использовать каждую технологию на своём месте? У меня 1 встроенный HDD и 1 внешний на USB 3.1 для долговременного хранения и мобильности, 2 SDD для системы и оперативных данных, RAM-диск можно использовать для данных, которые протирают дырки.

 
Edgar Akhmadeev #:RAM-диск можно использовать для данных, которые протирают дырки.

Кстати, давайте составим макксимально полный список, что протирает дырки... точнее, все что пишет данные на диск при оптимизации.

Начну:

Файлы

1) Файлы которые эксперт пишет на диск в процессе оптимизации при запуске агентов др. машиной из локальной сети (возможно и облачные сюда же пишут).
У себя нашел это тут и  пренес наРАМ диск:
C:\Windows\system32\config\systemprofile\AppData\Roaming\MetaQuotes\Terminal\Common\Files

2) То же в одиночном проходе (стандартная Сommon папка)
C:\Users\ХХХХХ\AppData\Roaming\MetaQuotes\Terminal\Common\Files

3) То же если используется не Common папка: (не проверял, но кажется тут, поправьте если ошибся)
C:\Users\ХХХХХ\AppData\Roaming\MetaQuotes\Tester\ХХХХХХХХХХХХ\Agent-127.0.0.1-3000\MQL5\Files

4) То же если запуск агентов с др. машины. Не проверял - подскажите.

Логи:

1) Логи при оптимизации, наверное мало смысла переносить на RАМ - они небольшие.

Логи со своей машины
C:\Users\ХХХХХХ\AppData\Roaming\MetaQuotes\Tester\ХХХХХХХХХХХХХХХХХХ\Agent-127.0.0.1-3000\logs

2) Логи если оптимизация запущена с другой машины из сети, не знаю где они. Подскажите.

3) Логи при одиночном проходе
C:\Users\ХХХХХХ\AppData\Roaming\MetaQuotes\Terminal\ХХХХХХХХХХХХХХХХХХХХХ\Tester\Logs

Логи  от одиночных проходов занимают много места - сотни мегабайт за день, у меня Ram диск всего 2 Гб, и можно незаметно его переполнить и не хватит места для более важных вещей. Поэтому оставил на SSD.
Так же этих одиночных проходов мало (просто посмотреть несколько лучших из оптимизации). Т.е. перезапись редкая и SSD не сильно страдает.

Что и откуда ещё посоветуете перенести на RAM?

 
Forester #:

Что и откуда ещё посоветуете перенести на RAM?

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Тестер стратегий MetaTrader 5: ошибки, баги, предложения по улучшению работы

fxsaber, 2019.09.16 14:11

Запускаю такой батник в папке Терминала один раз после перезагрузки компа.

rem Создали RAM-Drive для Тестера.
imdisk -a -o awe -s 3G -m Z: -p "/fs:ntfs /q /y /v:MT5Tester"

mkdir z:\Tester
mklink /j Tester z:\Tester

rem Кеш оптимизатора будет сохраняться на диске.
mkdir cache
mklink /j z:\Tester\cache cache

rem Временный RAM-Drive, чтобы на него можно было перенаправить log-папки.
imdisk -a -o awe -s 3M -m Y: -p "/fs:ntfs /q /y /v:MT5Tester_Logs"

mkdir y:\logs
mklink /j Tester\logs y:\logs

mkdir y:\logs0
mkdir Tester\Agent-127.0.0.1-3000
mklink /j Tester\Agent-127.0.0.1-3000\logs y:\logs0

mkdir y:\logs1
mkdir Tester\Agent-127.0.0.1-3001
mklink /j Tester\Agent-127.0.0.1-3001\logs y:\logs1

mkdir y:\logs2
mkdir Tester\Agent-127.0.0.1-3002
mklink /j Tester\Agent-127.0.0.1-3002\logs y:\logs2

mkdir y:\logs3
mkdir Tester\Agent-127.0.0.1-3003
mklink /j Tester\Agent-127.0.0.1-3003\logs y:\logs3

mkdir y:\logs4
mkdir Tester\Agent-127.0.0.1-3004
mklink /j Tester\Agent-127.0.0.1-3004\logs y:\logs4

mkdir y:\logs5
mkdir Tester\Agent-127.0.0.1-3005
mklink /j Tester\Agent-127.0.0.1-3005\logs y:\logs5

mkdir y:\logs6
mkdir Tester\Agent-127.0.0.1-3006
mklink /j Tester\Agent-127.0.0.1-3006\logs y:\logs6

mkdir y:\logs7
mkdir Tester\Agent-127.0.0.1-3007
mklink /j Tester\Agent-127.0.0.1-3007\logs y:\logs7

rem Убили временный RAM-Drive
imdisk -D -m Y:


После этого log-файлы не создаются. На глаз пока не заметил тормозов со стороны Тестера. Вроде, рабочее решение.


Лог-записи можно убить, если удалить log-папки и создать нулевые log-файлы на их месте. Как это сделать автоматом в батнике - не знаю (у всех разное количество Агентов). Возможно, кто-то в этой ветке владеет нужными навыками.

 
fxsaber #:
Запускаю такой батник в папке Терминала один раз после перезагрузки компа.

Поясните, пожалуйста, сколько должно быть "y:\logs"? У вас насчитал 9 и не понял почему. Тундра...

Чисто по догадке - типа один общий и 8 агентских для двухпотокового четырехядерника?

 
Михалыч Трейдинг #:

Поясните, пожалуйста, сколько должно быть "y:\logs"? У вас насчитал 9 и не понял почему. Тундра...

Чисто по догадке - типа один общий и 8 агентских для двухпотокового четырехядерника?

Для каждого Агента делайте так.

fxsaber #:

Лог-записи можно убить, если удалить log-папки и создать нулевые log-файлы на их месте.

 
Alexey Viktorov #:

Да буферизация есть.


Напишите модель, если не сложно. Я тут купил  Patriot P320 и как то он медленно работает при копировании файлов со старого SSD- разочарован.

 
Aleksey Vyazmikin #:

Напишите модель, если не сложно. Я тут купил  Patriot P320 и как то он медленно работает при копировании файлов со старого SSD- разочарован.

Да вот ссылка https://www.citilink.ru/product/ssd-nakopitel-digma-top-p8-dgst4001tp83t-1tb-m-2-2280-pcie-4-0-x4-nvme-1783588/

SSD накопитель Digma Top P8 DGST4001TP83T 1ТБ, M.2 2280, PCIe 4.0 x4, NVMe, M.2, rtl – купить в Ситилинк | 1783588
SSD накопитель Digma Top P8 DGST4001TP83T 1ТБ, M.2 2280, PCIe 4.0 x4, NVMe, M.2, rtl – купить в Ситилинк | 1783588
  • www.citilink.ru
SSD накопитель Digma Top P8 DGST4001TP83T 1ТБ, M.2 2280, PCIe 4.0 x4, NVMe, M.2, rtl - купить с доставкой и гарантией. SSD накопитель Digma Top P8 DGST4001TP83T 1ТБ, M.2 2280, PCIe 4.0 x4, NVMe, M.2, rtl: характеристики, фото, отзывы реальных покупателей. Условия продажи sSD накопитель Digma Top P8 DGST4001TP83T 1ТБ, M.2 2280, PCIe 4.0 x4, NVMe, M.2, rtl (1783588) в кредит или рассрочку.
12345678
Новый комментарий