Bybit MT5 - страница 31

 

Наконец то завершил работу над экспертом для скачивания тиков и стаканов и создания на них кастомных символов.

Выглядит так

Сначала загружаются списки инструментов по 3м категориям: linear, inverce, spot. И при выборе типа скачивания - показывается свой список.
Так же сделал создание баров по бид или по ласт цене.

Казалось бы небольшая программка, но 2 недели по 8-10 часов в день на нее ушло. Наверное  я слишком медленно работаю...

Много времени ушло на отработку разных особенностей/проблем:

Пришлось разобраться с GZip - готовых библиотек не было. Разбирался с примерами и форматом - сделал.

Для Zip есть библиотека, но в ней были неправильные ключи, которые мешали распаковке некоторых файлов. Пока выяснял -тратил время.
Потом, когда дошел до больших файлов оказалось что больше 1,7 Гб нельзя распаковать. Пришлось большие файлы складывать в отдельную папку для ручной распаковки и их потом снова нужно выбирать для обработки.

Библиотека JASON удобна, но медленна. Сделал 2 варианта не универсальной, но быстрой разборки JSON строк: сплитом и поиском имени переменной. Уже не помню, но кажется раза в 3 ускорил.

Кнопку Stop добавлил, но чтобы она работала - нужны паузы, сделал запуск по OnTimer(), но и тут нашелся баг, который увеличивал паузу на время скачивания. Качал 10 часов вместо 5. Сейчас скрыл ее, пока не починят баг.

В файлах сделки сначала шли от поздних к ранним, потом с какой-то даты поменяли наоборот, что логичнее. Сделал детектор и авто переключение алгоритма разборки.

С стаканом пришлось еще больше возиться. Примеры в сети сделаны с сортировкой, а это очень долго. Воспроизвел за день. И дня 2-3 потратил на построение стакана за 1 проход без сортировки - ускорение раз в 10. Естественно все сравнивал с надежным вариантом с сортировкой.
По битку скачалось 185 Гб архивов - распакованные раз в 5 больше.

Теперь немного отдохнуть и надо браться или за поиск закономерностей или за остальную часть АПИ - получение данных онлайн, торговля, и др.

Наверное надо закономерности искать, т.к. второе без них не нужно.

 
Никогда не работал со стаканом. На сайте вижу, что большие объемы - ставят и убирают. Как найти реальный/стабильный? По минимумам за несколько секунд?
Есть что почитать посмотреть по стаканам, как с ними зарабатывать можно?
 
Большую работу сделали. Сколько ГБайт занимает BTC в тиках за неделю? Месяц? В текстовом виде.
 
Dmitriy Skub #:
Большую работу сделали. Сколько ГБайт занимает BTC в тиках за неделю? Месяц? В текстовом виде.

Стаканы: По битку скачалось 185 Гб архивов с 2023-01-18 по вчерашний день - распакованные раз в 5 больше. Наверное около терабайта. Самый большой файл за 1 день 4,12 Гб был.
Тики раз в 100мс 840 тыс в день. Сколько это в формате МТ всего - пока не знаю, конвертация из файлов сейчас еще идет, часа 3-4 еще будет длиться. На текущий момент 2,3 Гб думаю еще 1-1,5 Гб добавит.
Месячные файлы самые большие пока такие:

По тикам случайно удалил, когда очищал место на диске для стаканов. Качалось, распаковывалось, создавалось около 12-14 часов и с паузами. Сделал докачку при останове и потери связи.
Наверное надо для архивов диск на несколько терабайт купить, либо качать по 8-12 часов.

 
Forester #:
Наверное надо для архивов диск на несколько терабайт купить,

абонировать место в облаке и начать барыжить данными ;-)

отличный бизнес. 

потому-что данные многим нужны (имеют коммерческую ценность), но вовсе не каждый готов докупать терабайты в личный комп

 
SSD можно быстрый поставить и памяти побольше.
 
Maxim Kuznetsov #:

абонировать место в облаке и начать барыжить данными ;-)

отличный бизнес. 

потому-что данные многим нужны (имеют коммерческую ценность), но вовсе не каждый готов докупать терабайты в личный комп

да, пока покупать не хочу, по 1 инструменту буду скачивать и тестировать по очереди.
сетевое хранилище видел на 16 тб за 17 тр, но если подождать с Китая то дешевле. Но все равно многовато(
 
Forester #:
да, пока покупать не хочу, по 1 инструменту буду скачивать и тестировать по очереди.
сетевое хранилище видел на 16 тб за 17 тр, но если подождать с Китая то дешевле. Но все равно многовато(

Советую посмотреть вот это -- https://hftbacktest.readthedocs.io/en/latest/index.html

Большая работа проделана, можно много интересного почерпнуть.

Там же есть ссылка на какой-то архив данных, но соединение не секьюрное -- https://hftbacktest.readthedocs.io/en/latest/index.html#data-source-format


Раньше видел у них же ссылку на поставщика данных, который собирает кучу всего со всех бирж и потом продает.

HftBacktest — hftbacktest
  • hftbacktest.readthedocs.io
HftBacktest High-Frequency Trading Backtesting Tool This framework is designed for developing high frequency trading and market making strategies. It focuses on accounting for both feed and order latencies, as well as the order queue position for order fill simulation. The framework aims to provide more accurate market replay-based...
 

Спасибо. Прочитал. Там готовая библиотека с своим загрузчиком данных и тестером. Свой загрузчик я уже сделал, тестер буду МТ использовать.

А алгоритмы работы со стаканом интересны.
Чужие коды сложно заходят, особенно если комментариев почти нет.
Как понял - там стратегии-сеточники  для маркет-мейкеров. Может со временем еще вернусь. А пока попробую торговлю по прогнозам потестировать.

 
Forester #:
Никогда не работал со стаканом. На сайте вижу, что большие объемы - ставят и убирают. Как найти реальный/стабильный? По минимумам за несколько секунд?
Есть что почитать посмотреть по стаканам, как с ними зарабатывать можно?

Делал следующим образом (на ФОРТС): замечаю большую заявку, добавляю ее (цена, объем, время добавления) в массив бидов или асков. На следующем тике проверяю ее наличие. Таким образом формирую массивы крупных заявок. Если заявка живет более X-секунд или Y-тиков отображаю ее на графике. Также можно отметить заявку по одной и той же цене которую то ставят, то снимают.

Если заявки очень большие - можно вставать перед ними в момент, когда их начинают разъедать (отскок). Можно помочь разъесть если ее уже почти разъели (пробой).