Эффективность использования диска

Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий
Edgar Akhmadeev
2304
Edgar Akhmadeev  

Терминал и тестер очень неэффективны своим хранением. У многих запущено сразу много терминалов, бывает много больше десятка. И каждый хранит собственную копию истории про каждому символу.

При оптимизации каждый агент (а количество ядер растет) каждый раз создаёт и хранит по несколько гигабайт временных файлов с тиками.

Такие объемы данных слишком велики для виртуальных дисков, и даже для маленьких недорогих SSD. А также требуют более дорогих VPS.

Для экономии ресурсов под историю не следует ли вернуться к древнему, но отметённому решению с концентратором истории, к которому подключались терминалы. Или ещё лучше, к мультитерминалу с несколькими счетами, но полнофункциональному (не только для ручной торговли). Хотя бы и без тестера.

И не плодить для каждого агента внутри одного терминала дубли. Они же при каждой оптимизации пользуются ровно одинаковым набором тиков.

Это очевидные тонкие места, от которых страдают многие трейдеры с множеством терминалов, и тестировщики по тикам за 1-3-5 лет. Согласен, это не большинство из нормальных трейдеров или разработчиков.

Я уверен, что разработчики из МК не обращают на это внимание, потому что их компьютерные ресурсы не такие ограниченные, как у нас.

Maxim Romanov
7414
Maxim Romanov  
Edgar:

Терминал и тестер очень неэффективны своим хранением. У многих запущено сразу много терминалов, бывает много больше десятка. И каждый хранит собственную копию истории про каждому символу.

При оптимизации каждый агент (а количество ядер растет) каждый раз создаёт и хранит по несколько гигабайт временных файлов с тиками.

Такие объемы данных слишком велики для виртуальных дисков, и даже для маленьких недорогих SSD. А также требуют более дорогих VPS.

Для экономии ресурсов под историю не следует ли вернуться к древнему, но отметённому решению с концентратором истории, к которому подключались терминалы. Или ещё лучше, к мультитерминалу с несколькими счетами, но полнофункциональному (не только для ручной торговли). Хотя бы и без тестера.

И не плодить для каждого агента внутри одного терминала дубли. Они же при каждой оптимизации пользуются ровно одинаковым набором тиков.

Это очевидные тонкие места, от которых страдают многие трейдеры с множеством терминалов, и тестировщики по тикам за 1-3-5 лет. Согласен, это не большинство из нормальных трейдеров или разработчиков.

Я уверен, что разработчики из МК не обращают на это внимание, потому что их компьютерные ресурсы не такие ограниченные, как у нас.

Да, я тоже об этом думал. У меня 8 терминалов одного брокера, 8 другого и 3 от mq. Каждый хранит историю, не очень рационально. Хоть по счетам объединить ее было бы неплохо.
SeriousRacoon
1080
SeriousRacoon  
Немного не в тему тестеров и десктопных терминалов: из-за этого я удалил мобильный МТ с телепона. Всю флэшку сожрал историей, сволочь.
Vladimir Baskakov
11914
Vladimir Baskakov  
Maxim Romanov:
Да, я тоже об этом думал. У меня 8 терминалов одного брокера, 8 другого и 3 от mq. Каждый хранит историю, не очень рационально. Хоть по счетам объединить ее было бы неплохо.
А зачем столько?
Edgar Akhmadeev
2304
Edgar Akhmadeev  
Vladimir Baskakov:
А зачем столько?

Сарказм? Или правда непонятно?

Знаю, что есть немало трейдеров, у кого работает много терминалов. Даже в описаниях тарифов на VPS пишут, сколько терминалов можно запустить: 1-2, ..., 12-15.

Не знаю, зачем другим, лично я не кладу все яйца в один ДЦ. У меня пока один эксперт работает на 4 реальных и одном демо. Планируется ещё один с таким же количеством терминалов. И следующий с много бОльшим.

А ещё можно иметь в одном ДЦ несколько счетов, чтобы не смешивать разные деньги.

Vladimir Baskakov
11914
Vladimir Baskakov  
Edgar:

Сарказм? Или правда непонятно?

Знаю, что есть немало трейдеров, у кого работает много терминалов. Даже в описаниях тарифов на VPS пишут, сколько терминалов можно запустить: 1-2, ..., 12-15.

Не знаю, зачем другим, лично я не кладу все яйца в один ДЦ. У меня пока один эксперт работает на 4 реальных и одном демо. Планируется ещё один с таким же количеством терминалов. И следующий с много бОльшим.

А ещё можно иметь в одном ДЦ несколько счетов, чтобы не смешивать разные деньги.

Да нет, в одном терминале можно торговать у всех брокеров просто
MetaQuotes
Админ
27475
Renat Fatkhullin  
Edgar:

Я уверен, что разработчики из МК не обращают на это внимание, потому что их компьютерные ресурсы не такие ограниченные, как у нас.

Объемы данных обоснованы и в будущем их будет только больше. Речь идет о росте на порядки. Таков прогресс и цена глубины аналитики.

Современный 256 Gb SSD стоит от 2000 до 3000 рублей. Это 30-40 долларов, их за пару суток даже во фрилансе можно заработать.


А что разработчики? Разработчики вкладывают десятки миллионов долларов в технологии, экосистему и развитие сервисов.

Serhii Shevchuk
6412
Serhii Shevchuk  
Edgar:

Сарказм? Или правда непонятно?

Знаю, что есть немало трейдеров, у кого работает много терминалов. Даже в описаниях тарифов на VPS пишут, сколько терминалов можно запустить: 1-2, ..., 12-15.

Не знаю, зачем другим, лично я не кладу все яйца в один ДЦ. У меня пока один эксперт работает на 4 реальных и одном демо. Планируется ещё один с таким же количеством терминалов. И следующий с много бОльшим.

А ещё можно иметь в одном ДЦ несколько счетов, чтобы не смешивать разные деньги.

Есть серия бюджетных, но вполне достойных по быстродействию SSD - Goodram Iridium Pro. Я брал под базы данных (интенсивное использование). Объём 512Гб мне обошёлся в 150 баксов. За полгода я его "убил" на 2% (так показывает фирменная утилита), пробег 15.4Тб. Думаю, метатрейдеру его хватит года на два минимум, а то и больше.
Edgar Akhmadeev
2304
Edgar Akhmadeev  
Renat Fatkhullin:

Объемы данных обоснованы и в будущем их будет только больше. Речь идет о росте на порядки. Таков прогресс и цена глубины аналитики.

Современный 256 Gb SSD стоит от 2000 до 3000 рублей. Это 30-40 долларов, их за пару суток даже во фрилансе можно заработать.


А что разработчики? Разработчики вкладывают десятки миллионов долларов в технологии, экосистему и развитие сервисов.

Объемы данных обоснованы, а их многократное дублирование - нет. ИМХО.

Я как бывший программист ценю эффективность.

MetaQuotes
Админ
27475
Renat Fatkhullin  

После 2006 билда мы начинаем кардинальную перестройку тестера:

  • меняем интерфейс на более понятный новичкам
  • больше функционала
  • новая система хранения и использования исторических данных на локальных агентах

Да, репликация исторических данных на каждое ядро у локальных агентов уже экстремально затратная. 

Сейчас нормально иметь по 24-32-64 ядра, что приводит к созданию десятков копий исторических данных, что не только занимает место, но и тормозит работу.

Особенно ясно это стало ясно, когда мы начали гонять тестер на Xeon Phi с 272 ядрами: MetaTrader 5 на Intel Xeon Phi 7250 - 272 ядра в одном компьютере

Мы уже разработали новую схему единого разделяемого фида(shared memory и предрасчитанные данные) с терминала каждому локальному агенту, что полностью избавит от необходимости создания отдельных копий. Ждали релиза, чтобы начать изменения.


Удаленные агенты изначально имеют схему выбора главного агента в группе и однократной синхронизации данных (мастер делится данными с остальными агентами на компьютере), что сильно экономит трафик синхронизации.

Edgar Akhmadeev
2304
Edgar Akhmadeev  
Serhii Shevchuk:
Есть серия бюджетных, но вполне достойных по быстродействию SSD - Goodram Iridium Pro. Я брал под базы данных (интенсивное использование). Объём 512Гб мне обошёлся в 150 баксов. За полгода я его "убил" на 2% (так показывает фирменная утилита), пробег 15.4Тб. Думаю, метатрейдеру его хватит года на два минимум, а то и больше.

У меня есть SSD. Мне его пока впритык хватает. Ведь у меня пока всего 4 ядра. А будет 24. А давайте для каждого ядра поставим свою винду, диски же дешевеют.

Авторизуйтесь или зарегистрируйтесь, чтобы добавить комментарий