Пропали ядра после обновления тестера. - страница 4
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Поэтому я и пишу - не понимаете технических вопросов реализации.
Глупости про мифический ручной перенос не нужно писать. Все должно работать только автоматически с автоматической зачисткой мусора. Файлы экспертов передаются однократно и эффективно кешируются на агентах. Повторные запуски тестирования не приводят к перезакачке программ, пока они не будут перекомпилированы.
Глупость - а что остается делать, если иного пути нет?
Рассказывать про роботов в сотни мегабайт тоже не надо. Кстати, как ресурсы, так и связанные файлы сжимаются при передаче.
При чем тут сам код советника и файл, который передается вместе с ним для работы этого советника над данными в файле? Вы искажаете смысл ситуации.
Собственные фермы у трейдеров не выстрелили. Сейчас стало абсолютно ясно, что будущее за клаудными рассчетами - это дешево и эффективно.
Да, потратишь 5-10 долларов на массовое тестирование идеи, но никакого геморроя, экономно и быстро.
Во первых вообще сомневаюсь, что Клауд сможет выгрузить большие файлы у меня. А если сможет, то за передачу данных ещё возьмет.
Давайте посчитаем - если даже за 10 долларов я получу аналог работы моих серверов за день, а загрузка пусть будет пол года, то 10*180=1800 за год, сервер на Е5-2660 я собираю за примерно 250$, т.е. на 1800 я куплю 6 серверов (96 ядер 192 потока и 384гигабайт ОЗУ)и остаток потрачу пусть на электричество, то за следующий год я буду уже в прибыли 1500 долларов, а за года это будет очень большая сумма. К тому же оставшиеся пол года вычислительные ресурсы занимаются работой над созданием моделей МО, что невозможно полноценно делать в MT. Вывод очень простой - клауд для тех, кому реально мало что надо считать и кто пришел поиграть на пару месяцев.
Если есть проблемы с тестированием или тормозами, описывайте их с максимальной детализацией и логами, пожалуйста.
За последние полгода мы серьезно улучшили агентов и исправили множество проблем.
Следующий большой шаг - это переход на микроклауды, где вместо агента на ядро будут использоваться агенты на N ядер в рамках NUMA нод. Для этого нам надо многое переписать.
Хорошо, будут логи.
Так на этих микроклаудах уже не надо будет ресурсы закачивать для каждого агента?
Глупость - а что остается делать, если иного пути нет?
При чем тут сам код советника и файл, который передается вместе с ним для работы этого советника над данными в файле? Вы искажаете смысл ситуации.
Во первых вообще сомневаюсь, что Клауд сможет выгрузить большие файлы у меня. А если сможет, то за передачу данных ещё возьмет.
Давайте посчитаем - если даже за 10 долларов я получу аналог работы моих серверов за день, а загрузка пусть будет пол года, то 10*180=1800 за год, сервер на Е5-2660 я собираю за примерно 250$, т.е. на 1800 я куплю 6 серверов (96 ядер 192 потока и 384гигабайт ОЗУ)и остаток потрачу пусть на электричество, то за следующий год я буду уже в прибыли 1500 долларов, а за года это будет очень большая сумма. К тому же оставшиеся пол года вычислительные ресурсы занимаются работой над созданием моделей МО, что невозможно полноценно делать в MT. Вывод очень простой - клауд для тех, кому реально мало что надо считать и кто пришел поиграть на пару месяцев.
Так есть у вас в реальности(а не умозрительно) роботы с нагрузкой файлами по 100 мб? Уверен, что нет.
У вас лично в реальности есть 50-100% загрузка железа рассчетами? Да еще в долгий период. Вот поэтому фермы и не выстрелили.
Теоретики от бизнеса так обычно считают, а потом оказывается, что ошибаются по загрузке/спросе в десятки и сотни раз, как и в расходах. Ибо реальность зла.
Когда в реальности дорастете до дикой загрузки, станете зубром, тогда экономика позволит чуть-чуть экономить на железе. А скорее всего не позволит или лишь даст самообман.
Как практик говорю, у которого достаточно много железа под множество сервисов и задач, работающих 100% времени годами. Даже в масштабе компании я не уверен, что мы сэкономили что-то существенное на своем оборудовании. Потому что я умею видеть вмененные и косвенные расходы.
Кстати, вот реально есть инструмент для создания моделей CatBoost - код открытый, если бы можно было обучать через ваш Клауд, после интеграции в MT5 или ещё как, то получили большой приток клиентов, после пиара этой возможности.
Точно теоретик.
Потратите миллион долларов на маркетинге и заработаете 1000 долларов в лучшем случае.
Так есть у вас в реальности(а не умозрительно) роботы с нагрузкой файлами по 100 мб? Уверен, что нет.
У вас лично в реальности есть 50-100% загрузка железа рассчетами? Да еще в долгий период. Вот поэтому фермы и не выстрелили.
Теоретики от бизнеса так обычно считают, а потом оказывается, что ошибаются по загрузке/спросе в десятки и сотни раз, как и в расходах. Ибо реальность зла.
Да, у меня есть реально большие советники
К ним идут файлы csv - и тут размер может быть разный - раньше была выборка примерно на 20 мегабайт. Есть ещё файлы и по 300 мегабайт с моделями после обучения - их в одном файле сразу много, так как по одной модели слишком дорого передавать. Сейчас я работаю с выборкой в 9гигабайт и её уже вообще не смогу прокачать через агенты - разве что жестко дробить файл.
Да, у меня лично железо загружено не менее чем 2/3 в год. Каждый год докупаю вычислительные ресурсы.
Точно теоретик.
Потратите миллион долларов на маркетинге и заработаете 1000 долларов в лучшем случае.
Если возможность полезная, то сработает сарафанное радио, а если это невыгодно, то да - нет в этом смысла.
Да, у меня есть реально большие советники
К ним идут файлы csv - и тут размер может быть разный - раньше была выборка примерно на 20 мегабайт. Есть ещё файлы и по 300 мегабайт с моделями после обучения - их в одном файле сразу много, так как по одной модели слишком дорого передавать. Сейчас я работаю с выборкой в 9гигабайт и её уже вообще не смогу прокачать через агенты - разве что жестко дробить файл.
Да, у меня лично железо загружено не менее чем 2/3 в год. Каждый год докупаю вычислительные ресурсы.
Так опишите технически, что у вас не получается в агентах с этими файлами.
Найдем и исправим.
Вот быстрый способ - пост #62
.
Если есть проблемы с тестированием или тормозами, описывайте их с максимальной детализацией и логами, пожалуйста.
За последние полгода мы серьезно улучшили агентов и исправили множество проблем.
Следующий большой шаг - это переход на микроклауды, где вместо агента на ядро будут использоваться агенты на N ядер в рамках NUMA нод. Для этого нам надо многое переписать.
Планируется ли когда-нибудь в будущем сделать бенчмарк для более прозрачной продажи ресурсов агентами в облаке в виде пункта меню в терминале или дополнительной вкладки в менеджере агентов тестирования?
К примеру такого вида:
=============================================================
Рейтинг вашей системы:
Процессор: Xeon 2678 V3 3100Mhz - PR 80
Память: 63998 MB - PR 40
Дисковая подсистема: 50 Gb Free (710 MB/s / 700 MB/s read/write) - PR 50
Общий PR (Rerfomace Rate): 170
=============================================================
Рейтинг конфигураций:
Intel Core i7 10980 XE 4600Mhz, 32Gb RAM, Disk 120 Gb - PR 230 ( Средний процент получения задач от общего потока задач агентами при аналогичном PR - 2.8563%, средний доход в мес $30 )
AMD RYZEN 9 3900x 4700Mhz, 128 GB RAM, Disk 80 Gb - PR 210 ( Средний процент получения задач от общего потока задач агентами при аналогичном PR - 2.5563% , средний доход в мес $25 )
Intel Core i7 10900 5100Mhz, 64Gb RAM, Disk 60 Gb - PR 200 ( Средний процент получения задач от общего потока задач агентами при аналогичном PR - 2.3214%, средний доход в мес $20 )
....
Ваш компьютер>> Xeon 2678 V3 3100Mhz, 63998 MB RAM, Disk 50 Gb - PR 170 ( Средний процент получения задач от общего потока задач агентами при аналогичном PR - 1.2345%, средний доход в мес $10 )
....
Intel Core i7 980 2800Mhz, 16Gb RAM, Disk 80 Gb - PR 70 ( Средний процент получения задач от общего потока задач агентами при аналогичном PR - 0.3214%, средний доход в мес $2 )
Intel Core 2 Duo 7100T, 4 Gb RAM, Disk 20 Gb - PR 56 ( Средний процент получения задач от общего потока задач агентами при аналогичном PR - 0.01214%, средний доход в мес $1 )
...
==============================================================
Очень помог бы такой бенчмарк в оценке целесообразности отдачи ресурсов и понимании, какие конфигурации имеет смысл подключать к облаку, т.к. подключив пока домашние компьютеры к облаку, наблюдаю очень редкое использование подключенных агентов и хотелось бы иметь понимание, какие конфигурации имеет смысл подключать к облаку, а какие нет, и есть ли в этом какой-либо экономический смысл, особенно при подключения офисных серверов.
Также заметил особенность работы агентов тестирования - выделенная память (ОЗУ) обратно не освобождается в течение долгого времени после окончания работы агентов над заданиями, может по несколько часов быть выделена память не отдавая ее для использования другим приложениям, что очень не удобно и приходится вручную перезагружать агентов для освобождения памяти.