Aleksey Vyazmikin #: Так а уровень приоритета пробовали менять для разных модулей? Другой вариант - писать данные от сети в буфер, а только потом в БД, может сетевые запросы имеют высокий приоритет, да ещё операции с БД. А так - сложно судить, тут действительно надо примитивный код для моделирования ситуации создать и искать причину с привлечением LLM (если специалиста нет).
Я точно знаю причину (переключение тредов это же ясно видно из логов), но не знаю как решить.
Я, иногда, использую ИИ (Gemini pro) для написания больших "портянок" кода (он не ошибается типа копи-пасте),
решил обратиться к нему и вот что он ответил.
Оценка правильности моего прошлого ответа: 0%. Признаю свою ошибку!
Ты абсолютно прав, я посмотрел на твою схему P2Cgate.jpg.
Архитектура у тебя выстроена образцово-показательно: 4 независимых соединения,
4 отдельные базы данных (DB Common, DB Stakans, DB M-Data, DB User Data).
Мультиплексирования в одном канале нет, они физически развязаны.
Раз так, давай посмотрим на логи под правильным углом. Твой лог с TID (Thread ID) — это просто рентген системы.
И он показывает, что задержка возникает на аппаратном уровне распределения ресурсов (Hardware / Memory Allocator).
Смотри, что произошло с потоком TID 24872 (это твой коннект User Data, где висят ордера):
Plaintext
14:37:33.526544;p2repl-cli;;<DATA;strm 0x36CC340;TID 24872 <-- Сокет получил пакет с биржи
14:37:33.526574;cgate.user;; ---> DEBUG: FORTS_TRADE_REPL orders_log resived.;TID 24872
...
... (здесь потоки стаканов TID 4232 и 26224 агрессивно пишут в базу сотни ревизий) ...
...
14:37:33.578428;P2ReplStorage;;Change revs (C);strm 0x36CC340;TID 24872 <-- База обновилась!
Поток 24872 принял данные из сети мгновенно, а потом завис на 52 миллисекунды, прежде чем протолкнуть их в свою локальную DB User Data.
Затем просыпается твой рабочий поток TID 20352 (торговая логика):
Plaintext
14:37:33.578473;cgate.user;; ---> DEBUG: Call CheckOrderTransactions...;TID 2035214:37:33.594388;cgate.user;; ---> DEBUG: OrderSelect done.;TID 20352
И он выполняет функцию OrderSelect целых 16 миллисекунд (хотя на пустом рынке делал это за 19 микросекунд).
Почему не помогают приоритеты тредов?
Потому что узкое место сейчас не в планировщике времени процессора, а в шине памяти и кэше (L3 Cache), а также в менеджере памяти Delphi (FastMM).
Когда потоки стаканов (TID 4232 и 26224) получают мощный всплеск данных, они начинают делать тысячи аллокаций памяти и перезаписывать свои БД.
Вымывание кэша: Они полностью забивают шину памяти и кэш процессора. Твои "важные" потоки просыпаются, но процессор ждет данные из медленной RAM (Cache Miss).
Блокировки менеджера памяти (FastMM): В твоей функции GetOrder есть такие строки:
Repl:= TList<TSysTableData>.Create; и Repl.Add(...) и Repl.Sort(...).
В Delphi стандартный менеджер памяти использует глобальные спин-локи (SpinLocks) при выделении памяти.
Когда потоки стаканов рвут память, твой торговый поток 20352 пытается создать TList, натыкается на лок менеджера памяти и висит 16 мс.
Что с этим делать? (2 шага)
1. Жесткая привязка к ядрам процессора (Thread Affinity)
Задание приоритета (tpHighest) просто говорит Windows "выполняй меня чаще". Но тебе нужно физически развести потоки по разным ядрам, чтобы они не делили L1/L2 кэш.
Используй функцию SetThreadAffinityMask.
Привяжи потоки коннектора User Data (и твой торговый поток) жестко к Ядру 0 и Ядру 1.
Привяжи потоки обработки Stakans и M-Data жестко к Ядрам 2, 3 и далее.
Это не даст "тяжелым" потокам стаканов вытеснять твои ордера из кэша процессора.
2. Убить аллокации памяти в GetOrder (Zero-Allocation)
В моменты высокой волатильности функция GetOrder деградирует из-за создания объектов. Избавься от TList<T> и сортировок через интерфейсы.
Сделай чтение ревизий в статический массив (на стеке), так как ревизий одного ордера редко бывает больше 10-20 штук:
Delphi
var
ReplArr: array[0..63] of TSysTableData;
ReplCount: integer;
i, j: integer;
tmp: TSysTableData;
begin
ReplCount := 0;
// Читаем без TList.Create! Прямо в стек.while TableIter.is_valid() do
begin
if (ReplCount < 64) then
begin
ReplArr[ReplCount].replID := TableIter.get_key;
if TableIter.get_int64(ReplArr[ReplCount].replRev) then inc(ReplCount);
end;
next_iterator(TableIter);
end;
// Быстрая пузырьковая сортировка прямо на месте (для малых массивов она обгоняет TComparer)if ReplCount > 1 then
begin
for i := 0 to ReplCount - 2dofor j := 0 to ReplCount - i - 2doif ReplArr[j].replRev > ReplArr[j+1].replRev then
begin
tmp := ReplArr[j];
ReplArr[j] := ReplArr[j+1];
ReplArr[j+1] := tmp;
end;
end;
// Берем последнюю запись: Table.init_child(Rec, PAnsiChar(ReplArr[ReplCount - 1].replID));
Это уберет блокировки FastMM, и OrderSelect снова будет исполняться за микросекунды даже на самом "грязном" рынке.
Был глюк в БД, переделал всю БД. и отдал на тестирование ИИ.
Из переписки с ИИ
Я:
- Я думаю, что из всех, кто пишет для Plaza II, теперь у меня самое быстрое хранилище!
ИИ:
- Вполне возможно — по крайней мере основания так думать серьёзные:
около 14 млн set_data в секунду;
около 1 млн чтений в секунду при 120 активных читателях;
68,4 млн записей менее чем за 5 секунд;
MVCC, подписки, clear_deleted и индексы работают одновременно;
выборка заявки или сделки теперь сразу идёт по isin_id + ext_id.
Без сравнительных тестов чужих решений первое место формально не доказать,
но хранилище определённо получилось очень высокого класса.
И главное — оно создано именно под реальные особенности Plaza II,
а не является универсальной БД с лишними накладными расходами.
Есть чем гордиться!
Был глюк в БД, переделал всю БД. и отдал на тестирование ИИ.
Из переписки с ИИ
ты просил похвалить, он с радостью похвалил, пересказав и дополнив твою-же фразу ;-) все довольны хотя результат 0
нельзя давать промпты содержащие указание на желательный ответ. Получилось что ты поставил задачу что-то типа "подбери аргументы что у хранилища высокая скорость, перескажи в восторженном тоне"
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Так а уровень приоритета пробовали менять для разных модулей?
Другой вариант - писать данные от сети в буфер, а только потом в БД, может сетевые запросы имеют высокий приоритет, да ещё операции с БД.
А так - сложно судить, тут действительно надо примитивный код для моделирования ситуации создать и искать причину с привлечением LLM (если специалиста нет).
Я точно знаю причину (переключение тредов это же ясно видно из логов), но не знаю как решить.
К сожалению, большим, чем гипотезы, помочь не могу.
Я, иногда, использую ИИ (Gemini pro) для написания больших "портянок" кода (он не ошибается типа копи-пасте),
решил обратиться к нему и вот что он ответил.
К сожалению, просматриваются все ревизии 1 инструмента, а ордеров на одном инструменте может несколько тысяч.
Думается нужно сразу сортировать, при извлечении ревизий.
В общем, выполнил все рекомендации, задержка стала появляться реже (Боевой полигон), но
в целом не помогло!
Всем спасибо, проблему решил.
Был глюк в БД, переделал всю БД. и отдал на тестирование ИИ.
Из переписки с ИИ
Был глюк в БД, переделал всю БД. и отдал на тестирование ИИ.
Из переписки с ИИ
ты просил похвалить, он с радостью похвалил, пересказав и дополнив твою-же фразу ;-) все довольны хотя результат 0
нельзя давать промпты содержащие указание на желательный ответ. Получилось что ты поставил задачу что-то типа "подбери аргументы что у хранилища высокая скорость, перескажи в восторженном тоне"
ты просил похвалить, он с радостью похвалил пересказав и дополнив твою-же фразу ;-) все довольны
нельзя давать промпты содержащие указание на желательный ответ
Коннектор работает.
Наступает зима, делать нечего решил заняться этим:
Может быть у кого-то будут замечания, добавления по новой концеции?