Бешенный кеш агентов тестирования - страница 4

 
Renat Fatkhullin:

Уточню:

  • Хотя вы выставили агентов в сеть, но они практически не работали, так как не получали достаточно заказов. Даже 0.1% времени они не работали. Поэтому говорить о "80 агентов круглосуточно" нельзя вообще

3 из четырех систем являются серверами, и работают 24/7. 4-я машина периодически выключается. Не все эти машины я начал использовать одновременно, но помимо них было еще с десяток более слабых компов, вы это могли заметить. И в облаке мои агенты гораздо больше времени чем полгода. Почему агенты не получают задач - это уже вопрос к Вам.


Renat Fatkhullin:
  • Нельзя сравнивать прогоны - они все разные для разных задач. Сравнивать надо только эквивалент мощности - кванты расчетные.
  • Цифры показывают, что сеть очень выгодна для потребителей
Эту работу моя ферма делает за 8-10 часов. И никак не сожрет при этом электричества на 10 баксов.

Я хз о какой большой выгоде Вы говорите, если что бы получить когда требуется прирост скорости на 5 минут - нужно месяцами оставлять включенной машину.
 
Renat Fatkhullin:

Хватит устраивать балаган.

Хотите сыграть в реальный разбор эффективности и производительности тестера? Постарайтесь взять один инстанс агента, одну простую задачу и запротоколируйте все ресурсы при одиночном, повторном проходе и режиме оптимизации. Потом я быстро вас верну на землю. Если вы сами не откажетесь от своих слов после реальной оценки задачи.

А ssd для вас важнее - вы не зря столько времени на описание его потратили. И вы даже не соизволили задуматься о моих объяснениях. Вы ведь просто кнопку нажали, чего это вдруг ресурсы начали тратиться. И вам нет дела до оценки, а что же там реально под капотом, какой объем данных.

Вы совсем не понимает %) в Вашем тестере узкое место жесткий диск. И проблема в том что ядра стоят и ждут данных с этого медленного диска . А тесты я Вам сделаю - и более расширенную версию.
 
alrane:
Вы совсем не понимает %) в Вашем тестере узкое место жесткий диск . А тесты я Вам сделаю - и более расширенную версию.

Это вы не совсем понимаете, с кем разговариваете о технических вопросах.

Я, в отличие от вас, уже треть жизни потратил на написание метатрейдер тестеров и их оптимизацию.

 
alrane:
Эту работу моя ферма делает за 8-10 часов. И никак не сожрет при этом электричества на 10 баксов.
Ферма+настройка+поддержка - стоила денег.
 
Renat Fatkhullin:

Это вы не совсем понимаете, с кем разговариваете о технических вопросах.

Я, в отличие от вас, уже треть жизни потратил на написание метатрейдер тестеров и их оптимизацию.

Да, но почему то ответа на вопрос КАК решить подобную проблему Вы не даете. Наверное снизойти до этого религия не позволяет.

Пожалуйста скользящая на EURUSD период тестирования год. Одиночный прогон:


 Теперь 100 прогонов:


Да, отлично работает шустро.

А теперь попробуем более тяжелый эксперт на том же периоде:




И что мы видим? Процы стоят, память пустует, работает один диск. И суть вопроса была в том КАК этого избежать. Да, это малое число прогонов. Если их будут тысячи - процы будут сильнее загружены со временем, когда данные кешируются, и диск в основном будет для чтения использоваться. Но все равно до 100% загрузки там будет далеко, ядра точно также будут ждать хард, потому что его скорости тупо МАЛО для такого числа агентов.

И собственно проблему-то я решил, уже давно и собственными силами (посмотрите на дату создания темы). И получил прирост в скорости в несколько раз (просто распределив кеш агентов по разным носителям).  Но возможно есть более оптимальное решение, возможно мне стоит  что-то обратить внимание при написании советника.

Или есть еще мысли.

Прекратите уже агриться, я не ставлю целью Вас оскорбить. Я пришел сюда за помощью.
 
fxsaber:
Ферма+настройка+поддержка - стоила денег.
Каких денег? Настраивал сам, машины мои и тестирование стратегий это далеко не основная их задача. Под фермой я подразумеваю свою связку из нескольких машин.
 
alrane:
На своей связке из 4х компов в 80 агентов - примерно 6-10 часов.

Допустим 10 часов, значит на одном ПК 40 часов - что за ПК напишите?

Как я и хотел, подсчитать реальные затраты интересно, если использовать ПК 24/7/365  - получается, что в час расход 0,25 цента, а за год 0,25*24*365=2190$ - на оптимизацию, плюсом будет, то, что мы получим результат в 480 раз быстрей.

Ренат, а если я согласен получить в 100 раз быстрей, то можно платить в 4,8 раза меньше - тогда и слабые машины будут востребованы в клауде.

 
Первая машина: Два процессора Xeon E5-2690 3,2ГГц (32 логических ядра), 64ГБ оперативки

Вторая: Два процессора Xeon E5-2670 (32 логических ядра), 32ГБ оперативки

Две остальные машины по 8 ядер Xeon E3-1241v3 с 32ГБ



ИМХО, к сожалению от облака (по крайней мере в моем случае), толку нет. Я достаточно долгое время к нему присматривался, что бы проверить есть ли смысл
 
Собственно если интересно, то вот статистика (не все участвующие машины отображаются):

 
alrane:
Собственно если интересно, то вот статистика (не все участвующие машины отображаются):

Процессоры разные - хорошо бы данные с одним процессором получить - узнать время оптимизации у Вас и в облаке, и соответственно стоимость работ в облаке. А то, получается, что облако уж очень дорого - 2кк за аналог работы ПК в течении года. И, интересно, сколько платят за работу такого ПК в час - любопытно узнать наценку :)

Причина обращения: