Новая версия платформы MetaTrader 5 build 1640: создание и тестирование собственных финансовых инструментов - страница 17

 

Renat Fatkhullin:

Следующий приоритет за экономией трафика

Объемы выкачиваемых исторических данных нередко исчисляются гигабайтами на одного пользователя, когда он занимается глубоким тестированием или сканом всего рынка. Количество финансовых инструментов на серверах исчисляются сотнями, а у некоторых наших клиентов десятками тысяч.

А можно при нажатии на "Окно графика" в Обзоре рынка не открывать H1-таймфрейм, закачивая никому не нужные объемы M1? Мне нужно посмотреть всего лишь текущие котиры символа в M1, зачем мне (и азиатам с дорогим трафиком) каждый раз навязывается сотня тысяч M1-баров?


И почему, когда речь идет про рациональное использование ресурсов, два терминала на одном компе, подключенных к одному и тому же счету, тянут независимо друг от друга гигабайты идентичных исторических данных?

 
fxsaber:

300 000 баров жмутся в 3.5 раза менее, чем за пол секунды. Обратная операция занимает 60 миллисекунд. И это без какой-либо оптимизации.

Не забывайте, что:

  1. нам нужен прямой доступ в любое место истории (распаковывать и извлекать - это потери времени)
  2. нет смысла извлекать из hc, чтобы потом перепаковать в hcc, а потом распаковывать на каждый чих. если распаковываться из hc, то это достаточно долго. особенно с учетом того, что потом надо еще и таймфреймы нужные строить
  3. у подавляющей массы трейдеров отнюдь не последние Intel i7, а все еще слабые компы - там даже зип отъедает много. особенно изумляют атомы в массе ноутбуков - там тормоза почти везде на банальных операциях
  4. чтение быстрее распаковки, а приоритет у нас за скоростью. случай древнего и убитого hdd не рассматриваем.
  5. экономия диска даже в первой десятке приоритетов не стоит
 
fxsaber:

А можно при нажатии на "Окно графика" в Обзоре рынка не открывать H1-таймфрейм, закачивая никому не нужные объемы M1? Мне нужно посмотреть всего лишь текущие котиры символа в M1, зачем мне (и азиатам с дорогим трафиком) каждый раз навязывается сотня тысяч M1-баров?

Потому что так выгоднее в итоге.

Если вы открыли график, значит хотите с ним работать, что подразумевает детализацию. Все остальные таймфреймы строятся из M1.


И почему, когда речь идет про рациональное использование ресурсов, два терминала на одном компе, подключенных к одному и тому же счету, тянут независимо друг от друга гигабайты идентичных исторических данных?

Если в разных каталогах, то все верно.

Они не имеют права вмешиваться в данные друг друга.

 
Renat Fatkhullin:

Не забывайте, что:

  1. нам нужен прямой доступ в любое место истории (распаковывать и ивклекать - это потери времени)
  2. нет смысла извлекать из hc, чтобы потом перепаковать в hcc, а потом распаковывать на каждый чих. если распаковываться из hc, то это достаточно долго
  3. у подавляющей массы трейдеров отнюдь не последние Intel i7, а все еще слабые компы - там даже зип отъедает много. особенно изумляют атомы в массе ноутбуков - там тормоза почти везде на банальных операциях
  4. чтение быстрее распаковки, а приоритет у нас за скоростью
  5. экономия диска даже в первой десятке приоритетов не стоит

Помню, но честно, меня раздражает, что абсолютно бесполезные данные хранятся у меня на компе. Мне нужны данные максимум за пол года. Заглядываю в папку с hcc и удаляю почти все за ненадобностью, делая это регулярно. По глупости поставил MT5 на системный SSD-диск, думая, что 30Гб хватит. Никаких предупреждений при установке очередного терминала или открытии счета на новом торговом сервере не делается по поводу того, что сейчас мы нафиг забьем твой диск историческими данным случайно открытых тобой чартов и логами тестера, где допустил тупую ошибку. А так же мы продублируем все исторические данные в тестер.


Было бы предупреждение, какой-то индикатор забитости ресурсов и т.д. Возможность не писать хотя бы те же логи тестера, которые читаются в ОЧЕНЬ редких случаях.


Вот напрягает меня это. Коллекции фильмов не собираю, по этой же причины коллекции исторических данных то же не собираю. Ну не использую я этого.

В этом смысле кастомные данные очень помогают. Создал ровно столько, сколько надо. И никаких ненужных данных точно не будет там.

 
Renat Fatkhullin:

Потому что так выгоднее в итоге.

Если вы открыли график, значит хотите с ним работать, что подразумевает детализацию. Все остальные таймфреймы строятся из M1.

Случайно открыл, не туда тыкнул мышкой - 90% данных у меня именно так порождается. Особенно, когда много счетов на разных брокерах в одном терминале.

Если в разных каталогах, то все верно.

Они не имеют права вмешиваться в данные друг друга.

Ну есть же БД. Я линкую Bases на все терминалы, иначе полная засада. Денег на SSD и прочие апгрейды ни счесть. Я просто не понимаю, почему я это должен делать, когда это можно не делать - не навязывать мне ненужные данные?!

 

Видимо, вы чем-то не тем занимаетесь.

Потратить меньше 50 долларов за 120 Gb SSD ради важной задачи не можете?  Или за те же 50 долларов 500 Gb HDD можно взять.

Поставьте себе 5000 баров и работайте, раз история не нужна.
 
Renat Fatkhullin:

Потратить меньше 50 долларов за 120 Gb SSD ради важной задачи не можете?  Или за те же 50 долларов 500 Gb HDD можно взять.

Еще пять лет назад на одной только машине было 1Tb SSD. Речь не о деньгах в этом обсуждении, а об рациональной эффективности.

Сами же писали

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Прекращается поддержка Windows XP/Windows 2003/Windows Vista c 01.10.2017

Renat Fatkhullin, 2017.10.01 12:06

Стратегия работы с памятью меняется вместе с ростом средних объемов памяти.

Современный Windows 10 (еще с Windows 8) по другому относится к памяти и старается вовсю ее использовать под разнообразные кеши. Поэтому чем больше памяти, тем больше ее выделяется под временные кеши для обеспечения производительности всех программ (не надо зацикливаться, что якобы это операционка под свои нужны ее использует). Так как это кеши, то они зависят от активности программ. Если видите малый потребленный объем, значит никто в полную силу не работает.

И это абсолютно правильный подход. Нельзя как собака на сене сидеть и не использовать простаивающий ресурс.

Мои десятки Gb ОЗУ никак не используются терминалом в качестве кэша. При этом SSD - вовсю.

Это не спор ради спора. Хотелось бы, чтобы Вами были сделаны какие-то действия в плане предупреждения пользователя, например, что свободное место кончается. И достаточно случайно начать Оптимизацию в тестере в режиме MarketWatch, как с высокой вероятностью будет полный облом не только для Оптимизации, а для всех - SSD забьется. И все это по-тихому, без предупреждений.

А то, что нет общей БД для всех терминалов и локальных Агентов - в этом не просматривается рациональность. Подход "игрушка тормозит - апгрейдь комп" оправдан только тогда, когда исчерпаны возможности алгоритмической оптимизации. В обсуждаемом случае это явно не так. Однако, критику воспринимать не все умеют.

 
fxsaber:

Еще пять лет назад на одной только машине было 1Tb SSD. Речь не о деньгах в этом обсуждении, а об рациональной эффективности.

Тогда чего прибедняетесь про "30 гб системного диска"?



Мои десятки Gb ОЗУ никак не используются терминалом в качестве кэша. При этом SSD - вовсю.

Если оперативка не нагружается вовсю, значит задачи не требуют много памяти.

И чтобы дважды не вставать: за агрессивное использование оперативки вы бы первый сейчас в праведном гневе выступили.


Это не спор ради спора. Хотелось бы, чтобы Вами были сделаны какие-то действия в плане предупреждения пользователя, например, что свободное место кончается. И достаточно случайно начать Оптимизацию в тестере в режиме MarketWatch, как с высокой вероятностью будет полный облом не только для Оптимизации, а для всех - SSD забьется. И все это по-тихому, без предупреждений.

Да, все выглядит просто как подключение к спору ради спора.

Вы посмотрите у себя в логи - увидите очень детальные и точные сообщения об ошибках. Так что никакого "все по тихому, без предупреждений".


А то, что нет общей БД для всех терминалов и локальных Агентов - в этом не просматривается рациональность. Подход "игрушка тормозит - апгрейдь комп" оправдан только тогда, когда исчерпаны возможности алгоритмической оптимизации. В обсуждаемом случае это явно не так. Однако, критику воспринимать не все умеют.

Это уже объяснялось неоднократно.

Все там разумно и обосновано. Тем более, что как раз у агентов включена агрессивная зачистка диска от использованных данных.

 
Renat Fatkhullin:

Идеальная платформа! Улучшать просто нечего. Алгоритмическую оптимизацию некоторые считают нищебродской логикой. Удобно!

Буду вне паблика продолжать крыть MT5 матом, когда в очередной раз увижу десятки Гб никому не нужных логов без возможности их отключения и десятки Гб ценовых продублированных много раз данных, 95% которых мне не нужны. И никак легче не становится от того, что на машине несколько Тб SSD.

Вышел из обсуждения.


ЗЫ Логи - суммарно на машину, не терминал.

ЗЗЫ Ни разу MT5 не запускал на VPS. А вот Маркет-покупатели это делают постоянно.

 
fxsaber:

Вышел из обсуждения.

Спасибо.

Вы не защитили ни одного своего заявления. И даже в последнем умудрились наврать про логи.

Да, под соусом нищебродской логики, два человека пытались решить свои собственные проблемы "вписаться в 5 долларовый VPS с 5-10 терминалами". Не отказывайтесь, вы тоже именно про VPS писали, скрывая это.
Причина обращения: