Новая версия платформы MetaTrader 5 build 2450: Сервис "Подписки", улучшения в интерфейсе и удобные функции в MetaEditor - страница 10

 

проверил работу SQLite в тестере, по материалам статьи из справки

действительно SQLite работает в тестере, я оптимизировал "MACD Sample" и теперь я могу использовать эти данные для анализа или обмена с другими трейдерами

16 мая 2020г. с ув Игорь



UPD: 

вчера еще увидел пп.31 обновления МЕ, проверил - работает, довольно практично когда на ноуте хочешь код полистать не напрягая глаз, НО нужны дополнительные шрифты, почему то не получилось комфортно подобрать увеличенный шрифт в белой теме МЕ, добавьте для разнообразия шрифтов в настройки

 

MetaQuotes:

11.  Terminal: Максимальное число инструментов, которые одновременно можно включить в Обзоре рынка, увеличено до 5000.
...
13.  Terminal: Оптимизирована и значительно ускорена работа с большим количеством торговых инструментов (50 000 и более). 

Это радует, наконец-то пришло осознание.  А то я на протяжение нескольких лет уже регулярно поднимаю проблему ограничения 1000 символов, на что разработчики делают удивлённые глаза:  а куда вам столько?

Но зачем вообще какие-то ограничения?  5000 - почему именно это число?   В наш век, когда практически у всех интернет по 70-100 Мбит, это просто смешные цифры.

И как новость №13 соотносится с №11 ?  В чём смысл оптимизации  50 000 инструментов, если использовать можно не более 5000.

 

А ресурсов то у вас хватит? Вы же скан с подъемом 5000 символов со всей историей баров и тиковыми потоками хотите?

А брокер не лопнет? У него ведь админ сильно удивится, что его картина мира «2-4 ядра и 8 гб памяти должно хватить» даст трещину. Там ведь тоже с таким уровнем знаний и математики как у Алексея.


Давайте вы нам посчитайте все множители для оценки нагрузок по памяти, диску, каналам по всем компонентам, не забыв хотя бы отмасштабировать на 10к юзеров в онлайне.

Давайте прикинем тиковый траф за несколько лет по символу как 3 гб, умножим его на 5000 символов и отправим в терминал - это 15 террабайт. Сможете его в свои 100-1000 мбит прокачать? Пару месяцев качать будете. А если там 10к юзеров и брокер, который тоже считать не умеет? Хотя стоп, откуда у вас диски на 15 террабайт?

Ок, давайте снизим аппетиты в 10 раз. Пусть 1.5 террабайта, пусть без тиков. Все равно не влезет.

Это отличное доказательство моих слов про экспоненциальный рост данных и необходимость выделения ресурсов для вычислений.

Даже простой запуск эксперта с детализированной историей в нашем клауде легко создает трафик на сотню гигабайт при попытке доставить рыночное окружение до тысяч агентов.

В этом форуме уже были заявления «да вы все врете, я же фильмы смотрю». Видимо, люди живут с коэффициентом масштабирования = 1.


У нас можно и 300к символов иметь. Но вот использовать одновременно по 5к в обзоре рынка методом переключения наборов.

Чтобы это обслуживать, мы серьезно готовим инфраструктуру, включая тестеры.

 
Renat Fatkhullin:

А ресурсов то у вас хватит? Вы же скан с подъемом 5000 символов со всей историей баров и тиковыми потоками хотите?

...

Хотя стоп, откуда у вас диски на 15 террабайт?

Нет, я такого не писал.  Вас куда-то унесло в фантазиях.  Сами выдумывате, сами и развиваете свои мысли.   Речь шла конкретно о символах в обзоре рынка.  А уж каким образом это использовать и анализировать - пользователь сам решит.  Допустим рисовать карты Кохонена.  Никаких терабайт для этого хранить не надо.   А то ещё скажите, мол  "вы же хотите с 5000 открытыми графиками в окне?".  Зачем это всё.

 
Renat Fatkhullin:

А ресурсов то у вас хватит? Вы же скан с подъемом 5000 символов со всей историей баров и тиковыми потоками хотите?

А брокер не лопнет? У него ведь админ сильно удивится, что его картина мира «2-4 ядра и 8 гб памяти должно хватить» даст трещину. Там ведь тоже с таким уровнем знаний и математики как у Алексея.


Давайте вы нам посчитайте все множители для оценки нагрузок по памяти, диску, каналам по всем компонентам, не забыв хотя бы отмасштабировать на 10к юзеров в онлайне.

Давайте прикинем тиковый траф за несколько лет по символу как 3 гб, умножим его на 5000 символов и отправим в терминал - это 15 террабайт. Сможете его в свои 100-1000 мбит прокачать? Пару месяцев качать будете. А если там 10к юзеров и брокер, который тоже считать не умеет? Хотя стоп, откуда у вас диски на 15 террабайт?

Ок, давайте снизим аппетиты в 10 раз. Пусть 1.5 террабайта, пусть без тиков. Все равно не влезет.

Это отличное доказательство моих слов про экспоненциальный рост данных и необходимость выделения ресурсов для вычислений.

Даже простой запуск эксперта с детализированной историей в нашем клауде легко создает трафик на сотню гигабайт при попытке доставить рыночное окружение до тысяч агентов.

В этом форуме уже были заявления «да вы все врете, я же фильмы смотрю». Видимо, люди живут с коэффициентом масштабирования = 1.


У нас можно и 300к символов иметь. Но вот использовать одновременно по 5к в обзоре рынка методом переключения наборов.

Чтобы это обслуживать, мы серьезно готовим инфраструктуру, включая тестеры.

На IPO не планируете? 
 

Для интереса посмотрел топ затратных экспертов в клауде.

Масса по 100-200 гб трафика репликаций до агентов. А есть десяток с трафиком по 1-1.3 террабайта на одну задачу.

А ведь трейдер просто кнопку нажал «посчитать в клауде».

 
Alexey Navoykov:

Нет, я такого не писал.  Вас куда-то унесло в фантазиях.  Сами выдумывате, сами и развиваете свои мысли.   Речь шла конкретно о символах в обзоре рынка.  А уж каким образом это использовать и анализировать - пользователь сам решит.  Допустим рисовать карты Кохонена.  Никаких терабайт для этого хранить не надо.   А то ещё скажите, мол  "вы же хотите с 5000 открытыми графиками в окне?".  Зачем это всё.

Писали.

Просто не оценивали с технической точки зрения свои претензии.

Вы ведь даже не в курсе, что получение хоть тика по символу, поднимает и накапливает исторические тиковые данные по этому символу.

Вот на 5000 символов у вас уже 5000 стримов и минимум 5000 файлов на диске. А с таким количеством файлов даже NVMe диски подтормаживают(вернее операционка с файловой системой).

Давайте 50к символов откроем? Просто обзор рынка. Вы же это имели в виду?


А если какой либо скрипт пройдется по обзору рынка и запросит хоть один бар(и не только), то это мгновенно вызовет автоматический шторм запросов на серверы за доставкой исторических М1 баров. Если запросит тики, то шторм закачек тиков.

Я на склеенном фьючерсе RTS легко одной командой CopyTicks вытаскивал толи 360, толи 630 млн тиков.

 
Renat Fatkhullin:

Писали.

Просто не оценивали с технической точки зрения свои претензии.

Вы ведь даже не в курсе, что получение хоть тика по символу, поднимает и накапливает исторические тиковые данные по этому символу.

Вот на 5000 символов у вас уже 5000 стримов и минимум 5000 файлов на диске. А с таким количеством файлов даже NVMe диски подтормаживают(вернее операционка с файловой системой).

Давайте 50к символов откроем? Просто обзор рынка. Вы же это имели в виду?

Я к тому, что "Обзор рынка" - это просто слепок текущей ситуации на рынке.  Т.е. текущие котировки, не более.  Размер этого слепка = размер_тика * число_символов.  Т.е. мелочь.  А сохранение файлов истории - это уже если запрашиваем историю по конкретным символам (тиковую или баровую, неважно).  Если же ничего не запрошено, то и сохранять незачем. Платим только за то, что используем.

 
С точки зрения бизнеса, конечно хорошо чтобы потребности потребителей росли экспоненциально. Хорошо всем, кто стоит в цепочке, начиная от разработчиков терминала до продавцов железа. И бирже хорошо, и брокерам. Но только одно лицо может обеспечить экспоненциальный рост - трейдер, и только в том случае, если будет видеть выгоду в масштабировании своей технической базы. А с чего вдруг, трейдеры массово захотят апгрейдиться до новых уровней, затратив на порядок больше средств при подготовке к новому "супер-трейдингу"? Для них это риск, ведь глобализация их подхода к не обещает окупаемость вложений. Ничего кроме оптимизма и энтузиазма новичков (сужу по себе в прошлом) сподвигнуть на экспоненциальное увеличение трейдинговых потребностей (пока) не может. Если возникнет прямая связь между апгрейдом, решением трейдинговых задач и доходом, или снижением рисков, или увеличением мат.ожидания, то рост начнется. Но, где эта связь?
 
Alexey Navoykov:

Я к тому, что "Обзор рынка" - это просто слепок текущей ситуации на рынке.  Т.е. текущие котировки, не более.  Размер этого слепка = размер_тика * число_символов.  Т.е. мелочь.  А сохранение файлов истории - это уже если запрашиваем историю по конкретным символам (тиковую или баровую, неважно).  Если же ничего не запрошено, то и сохранять незачем. Платим только за то, что используем.

Это не слепок рынка, а обязательно накапливаемые данные, чтобы их историю можно было мгновенно без задержек показать трейдеру.

Вы просто не понимаете всей сложности движка и не задумываетесь о требованиях к скорости, качеству и отзывчивости данных.

Чтобы ни трейдеру, ни чартам, ни роботам не приходилось ждать даже лишних сотен миллисекунд, все данные готовятся для мгновенной выдачи.


Сейчас не 2000 год и не 2010. Мы не зря создали пятую торговую платформу с нуля, каждый раз выкидывая код предыдущей, так как архитектура не позволяла переходить на новый более качественный уровень.

Причина обращения: