Эффективность использования диска - страница 2

 
Edgar:

Объемы данных обоснованы, а их многократное дублирование - нет. ИМХО.

Я как бывший программист ценю эффективность.

Если разные счета с разных брокеров, то нет никакого шанса избежать отдельных копий.

У агентов же реплики временные и удаляются автоматически по окончанию тестов.

 
Renat Fatkhullin:

После 2006 билда мы начинаем кардинальную перестройку тестера:

  • меняем интерфейс на более понятный новичкам
  • больше функционала
  • новая система хранения и использования исторических данных на локальных агентах

Да, репликация исторических данных на каждое ядро у локальных агентов уже экстремально затратная. 

Сейчас нормально иметь по 24-32-64 ядра, что приводит к созданию десятков копий исторических данных, что не только занимает место, но и тормозит работу.

Особенно ясно это стало ясно, когда мы начали гонять тестер на Xeon Phi с 272 ядрами: MetaTrader 5 на Intel Xeon Phi 7250 - 272 ядра в одном компьютере

Мы уже разработали новую схему единого разделяемого фида с терминала каждому локальному агенту, что полностью избавит от необходимости создания отдельных копий. Ждали релиза, чтобы начать изменения.


Удаленные агенты изначально имеют схему выбора главного агента в группе и однократной синхронизации данных (мастер делится данными с остальными агентами на компьютере), что сильно экономит трафик синхронизации.

Бог есть!

 
Renat Fatkhullin:

У агентов же реплики временные и удаляются автоматически по окончанию тестов.

Слишком быстро удаляются, кстати. Я провожу тесты по тикам за несколько лет на 8 агентах один за другим и очень часто временные файлы с тиками создаются каждый раз заново, нагружая диск на 100% на пару минут, а ядра простаивают. А это бывает порядка 30Гб.

 
Edgar:

Слишком быстро удаляются, кстати. Я провожу тесты по тикам за несколько лет на 8 агентах один за другим и очень часто временные файлы с тиками создаются каждый раз заново, нагружая диск на 100% на пару минут, а ядра простаивают. А это бывает порядка 30Гб.

Этого скоро не будет.

У нас большие планы по тестеру торговых стратегий. Переделаем работу с данными, а потом начнем наращивать возможности.

 
Порадовали. Вообще это я хорошо зашёл с темой.
 
Renat Fatkhullin:

Если разные счета с разных брокеров, то нет никакого шанса избежать отдельных копий.

У агентов же реплики временные и удаляются автоматически по окончанию тестов.

Да, это понятно, что если счета разные. Но если одинаковые счета, то можно же сделать, чтобы все терминалы подключенные к 1 счету использовали одну историю, без дублирования.
 
Vladimir Baskakov:
А зачем столько?
Если у меня медленный робот, тест 1 года занимает неделю, то у меня 8 ядер и параллельно я могу запустить 7 тестеров, тестировать 7 лет за неделю и одним терминалом просто пользоваться. Насколько я понял тестер не параллелится и не планирует. Поэтому даже если я распараллелю алгоритм, то в тестере он все равно в 1 потоке будет крутиться. 
 
Maxim Romanov:
Если у меня медленный робот, тест 1 года занимает неделю, то у меня 8 ядер и параллельно я могу запустить 7 тестеров, тестировать 7 лет за неделю и одним терминалом просто пользоваться. Насколько я понял тестер не параллелится и не планирует. Поэтому даже если я распараллелю алгоритм, то в тестере он все равно в 1 потоке будет крутиться. 
Что значит медленный робот?
 
Renat Fatkhullin:

Удаленные агенты изначально имеют схему выбора главного агента в группе и однократной синхронизации данных (мастер делится данными с остальными агентами на компьютере), что сильно экономит трафик синхронизации.

Почему тогда в логе пишется о синхронизации с каждым удаленным агентом по отдельности?

 
Maxim Romanov:
Да, это понятно, что если счета разные. Но если одинаковые счета, то можно же сделать, чтобы все терминалы подключенные к 1 счету использовали одну историю, без дублирования.

Я думаю, что вопрос в обновлении котировок  в реальном времени - даже от одного сервера пакеты будут приходить не синхронно, ведь у каждого открыто своё соединение. Это надо менять всё концепцию, делая как бы сервер на ПК, который обрабатывает котировки и клиент, который пользуется ими.

Причина обращения: