Создание робота для криптобирж - страница 4

 
Andrey Khatimlianskii:

Чем не МТ? Разве что масштабом.

в МТ по большому счету CFD.

Andrey Khatimlianskii:

MQ при желании тоже могут поторговать на твоем счете, и тоже никому ничего не докажешь ;)

использование ключа для доступа к бирже и предоставление ключа trird-party сервисам это две большие разницы. огромные.

крч дай мне ключ с правами от счета на бирже с ~10к, покажу как это делается )

 
TheXpert:

в МТ по большому счету CFD.

использование ключа для доступа к бирже и предоставление ключа trird-party сервисам это две большие разницы. огромные.

крч дай мне ключ с правами от счета на бирже с ~10к, покажу как это делается )

Да я понял твою мысль. Сравнивал MQ с "trird-party сервисом".

 
Igor Yeremenko:

Да всего то делов, отслеживать каждый тик (ленту сделок) и спред (стакан), синхронизировать их между собой по времени и хранить гигабайты данных.

При этом что бы биржа не забанила за частые запросы по API, Вебсокеты тоже не сильно спасают.

У Вас есть готовое решение (или может где то видели/встречали готовое) для сохранения тиковой истории всех инструментов для топовых криптобирж? Мне как раз такое нужно.

Минутные срезы стаканов (отличающихся) это примерно 100 Гб в месяц на 550 парах (криптопия). По поводу бана - такого нет. Вам просто пришлют NULL вместо данных, или какой-нибудь матюк (там разные). Но никто не мешает вам использовать карусель из прокси и следить, чтобы запросы с одного адреса уходили с перерывом не менее 2х секунд.

Да, и есть один ньюанс. Носитель для БД обязательно должен быть SSD. Ибо никакой RAID не осилит ваши запросы к базе, которые будут (!!!) требовать высокой скорости случайного доступа.

Мне на одну криптобиржу хватает (впритык) накопителя на 480 Гб (при условии удаления устаревших данных). При возникновении желания работать с 10-ю биржами, придётся разжиться на 4.8Тб SSD.

P.S. Чтобы не быть голословным, приведу статистику (возможно, кому-то пригодится). На текущий момент у меня срезы стакана ровно за 2 месяца (с 9 сентября), цифры: Buy 93.3Gb, 328347340 строк; Sell 117.3Gb, 377137702 строк. Итого, за два месяца примерно 200Гб и 700 миллионов строк.
 

А резать 700 млн строк на 1000 (10000) файлов не пробовали? А потом читать каждый отдельно по дате.

Хорошо когда бюджет резиновый - можно и 4.8Тб SSD и100 Тб SSD... 12х4000 Ghz?, 100х9999 Ghz...

Я понятия ни имею кто такой рейд и как его делать. И так же благополучно дальше знать не хочу. Мне проще диски в стопочку складывать.

Причина обращения: