Да, весь тестер будет переписан, так как текущий захлебывается на данных и неудачной схеме масштабирования.
Каждый агент будет работать как микроклауд на N ядер, чтобы держать одну копию данных на N потоков. Так как наступило время NUMA архитектуры в
массах, каждый агент будет четко жить в своей нума ноде, чтобы не иметь штрафов обращений к памяти за пределами своей ноды.
Это позволит кратно снизить потребности в памяти, уменьшить дисковую активность и повысить скорость оптимизации.
При этом главную роль будет всегда играть обьем оперативной памяти, которая позволяет держать больше кешей и быстро их выдавать.
Цель - вести массовый скрининг тысяч акций, куда мы идем с новой инициативой по запуску подписок на детализированные биржевые данные.
Насчет экспонентциального роста обрабатываемых массивов данных, потребующих сопоставимого роста технических мощностей, то, хоть я не и футуролог, позволю себе усомниться. Я вырос на книгах Лема, который такие картины будущего рисовал, что дух захватывало, но как показало время, главное он не увидел. Интернет, смартфоны, ютьюб, соц.сети... А космические полеты, которые по его мнению к 2000-ому году должны были направляться аж к Марсу, вовсе законсервировались на десятилетия. Конечно, это не отменяет, что он гений в своем жанре, но нам не дано видеть будущее столь далеко. Даже видиние Стива Джобса может иметь диапазон не более 20 лет в итоге...
Реter Konow: Насчет экспонентциального роста
обрабатываемых массивов данных, потребующих сопоставимого роста технических мощностей, то, хоть я не и футуролог, позволю себе
усомниться. Я вырос на книгах Лема, который такие картины будущего рисовал, что дух захватывало, но как показало время, главное он не
увидел. Интернет, смартфоны, ютьюб, соц.сети... А космические полеты, которые по его мнению к 2000-ому году должны были
направляться аж к Марсу, вовсе законсервировались на десятилетия. Конечно, это не отменяет, что он гений в своем жанре, но нам не дано
видеть будущее столь далеко. Даже видиние Стива Джобса может иметь диапазон не более 20 лет в итоге...
К счастью, мы не фантасты, а те, кто реально работает с этими постоянно увеличивающимися данными уже 20 лет.
И запускаем все больше данных в свою экосистему. Не рассуждаем, а вводим.
Например, сами строим расчетные кластеры для машинного обучения и видим, что нам надо в десятки и сотни раз больше ресурсов, чтобы обсчитывать
модели. Рост потребностей квадратичный, если не кубический.
Включение родной поддержки Питона
тоже направлено на то, чтобы дать возможность трейдерам использовать более сложные модели.
Python является современным высокоуровневым языком программирования для разработки сценариев и приложений. Содержит множество библиотек для машинного обучения, автоматизации процессов, анализа и визуализации данных. Пакет MetaTrader для Python предназначен для...
К счастью, мы не фантасты, а те, кто реально работает с этими постоянно увеличивающимися данными уже 20 лет.
И запускаем все больше данных в свою экосистему. Не рассуждаем, а вводим.
Например, сами строим расчетные кластеры для машинного обучения и видим, что нам надо в десятки и сотни раз больше ресурсов, чтобы обсчитывать
модели. Рост потребностей квадратичный, если не кубический.
Включение родной поддержки Питона тоже направлено на то, чтобы дать возможность трейдерам использовать более сложные модели.
Я всего лишь высказываю сомнение в слишком футуристической картинке, которая мне рисуется, когда я читаю тезисы или концепции экспонентциального роста чего либо. Все экспонентциальное обычно быстро заканчивается резким сокращением. Диалектика, или, проще говоря - логика вещей. Быстро выростают только "пузыри", но они неизбежно лопаются. Как бы не попасть на такой пузырь...
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Ноут с i3 так и остался, это мне на ДР планшет на Windows 10 x64 на базе Celeron N4000 подарили.
Ясно. Хорошо. Мне вот ничего не подарили :) Но мы ж не дети - сами дарить должны. Но поздравляю, пусть и поздно.
Да, весь тестер будет переписан, так как текущий захлебывается на данных и неудачной схеме масштабирования.
Каждый агент будет работать как микроклауд на N ядер, чтобы держать одну копию данных на N потоков. Так как наступило время NUMA архитектуры в массах, каждый агент будет четко жить в своей нума ноде, чтобы не иметь штрафов обращений к памяти за пределами своей ноды.
Это позволит кратно снизить потребности в памяти, уменьшить дисковую активность и повысить скорость оптимизации.
При этом главную роль будет всегда играть обьем оперативной памяти, которая позволяет держать больше кешей и быстро их выдавать.
Цель - вести массовый скрининг тысяч акций, куда мы идем с новой инициативой по запуску подписок на детализированные биржевые данные.
Да
Спасибо за подробный ответ.
Имеет ли смысл сообщать о возможных тонких настройках Тестера или здесь без шансов, т.к. Тестер не для гиков?Насчет экспонентциального роста обрабатываемых массивов данных, потребующих сопоставимого роста технических мощностей, то, хоть я не и футуролог, позволю себе усомниться. Я вырос на книгах Лема, который такие картины будущего рисовал, что дух захватывало, но как показало время, главное он не увидел. Интернет, смартфоны, ютьюб, соц.сети... А космические полеты, которые по его мнению к 2000-ому году должны были направляться аж к Марсу, вовсе законсервировались на десятилетия. Конечно, это не отменяет, что он гений в своем жанре, но нам не дано видеть будущее столь далеко. Даже видиние Стива Джобса может иметь диапазон не более 20 лет в итоге...
К счастью, мы не фантасты, а те, кто реально работает с этими постоянно увеличивающимися данными уже 20 лет.
И запускаем все больше данных в свою экосистему. Не рассуждаем, а вводим.
Например, сами строим расчетные кластеры для машинного обучения и видим, что нам надо в десятки и сотни раз больше ресурсов, чтобы обсчитывать модели. Рост потребностей квадратичный, если не кубический.
Включение родной поддержки Питона тоже направлено на то, чтобы дать возможность трейдерам использовать более сложные модели.
сами строим расчетные кластеры для машинного обучения
Для какой области?
К счастью, мы не фантасты, а те, кто реально работает с этими постоянно увеличивающимися данными уже 20 лет.
И запускаем все больше данных в свою экосистему. Не рассуждаем, а вводим.
Например, сами строим расчетные кластеры для машинного обучения и видим, что нам надо в десятки и сотни раз больше ресурсов, чтобы обсчитывать модели. Рост потребностей квадратичный, если не кубический.
Включение родной поддержки Питона тоже направлено на то, чтобы дать возможность трейдерам использовать более сложные модели.
Для какой области?
Для разных.
Задач очень много вне трейдинга.
Для трейдинга есть хорошие ветки:
Что читать, смотреть и где учиться машинному обучению
MetaTrader 5 Python User Group - как использовать Python в Метатрейдере
А можно попросить фичу не из сложных рассчетов и оптимизаций?
Спасите мои (наши) глаза, сделайте полноценную темную тему в редакторе кода?
Ну прямо полностью, чтобы не только окно редактора, но и все панели, доп. окошки и т.д.
И чтобы не руками каждый цвет выставлять на каждом ПК, а просто выбором темы?
А можно попросить фичу не из сложных рассчетов и оптимизаций?
Спасите мои (наши) глаза, сделайте полноценную темную тему в редакторе кода?
Ну прямо полностью, чтобы не только окно редактора, но и все панели, доп. окошки и т.д.
И чтобы не руками каждый цвет выставлять на каждом ПК, а просто выбором темы?