Проблема с увеличением размера файла тиков в октябре, возможно, из-за изменений в структуре данных или активной торговле

fxsaber 2016.10.05 07:21 #17191

Karputov Vladimir:

Вероятно в 10 месяце изменена структура тиковых данных (возможно введено много дополнительной информации). А может банально просто стал символ активно торговаться.Вот сейчас при запросе таким скриптом:

на сервере "Open-Broker" размеры тиков (причём в 10 месяце - это не окончательно, тики продолжают закачиваться)

Скрипт

#define TOSTRING(A) #A + " = " + (string)(A) + " "

void OnStart()
{
  MqlTick Ticks[];
  
  const int Amount = CopyTicks(_Symbol, Ticks, COPY_TICKS_ALL, D'2016.10.01' * 1000, 1000000000);
  
  if (Amount > 0)
    Print(TOSTRING((Amount * sizeof(MqlTick)) >> 20) + "Mb " + TOSTRING(Ticks[0].time) + TOSTRING(Ticks[Amount - 1].time));
}

Результат (запуск на других символах дает тот же результат) на пустом терминале (один чарт без советников и индикаторов)

2016.10.05 08:16:56.824 Scripts script Test (Si-12.16,M1) removed
2016.10.05 08:16:56.821 MemoryException 52000000072 bytes not available
2016.10.05 08:16:56.816 Scripts script Test (Si-12.16,M1) loaded successfully
2016.10.05 08:10:10.408 Terminal        RAM: 81 Mb reserved, 491 Mb committed

Vladimir Karputov 2016.10.05 07:46 #17192

Karputov Vladimir:

Вероятно в 10 месяце изменена структура тиковых данных (возможно введено много дополнительной информации). А может банально просто стал символ активно торговаться.

Вот сейчас при запросе таким скриптом:

на сервере "Open-Broker" размеры тиков (причём в 10 месяце - это не окончательно, тики продолжают закачиваться)

Терпения не хватило - при размере файла 201610.tkc в 7,5 Gb решил прервать скачивание тиков.

fxsaber 2016.10.05 07:47 #17193

Если грохнуть файл, то ошибка будет даже после перезагрузки.

Если запрашивать с 1-го октября 1000 тиков, то соответствующий tkc-файл после каждого запуска будет постоянно расти. Короче, баг поганый.

fxsaber 2016.10.05 07:49 #17194

Karputov Vladimir:
Терпения не хватило - при размере файла 201610.tkc в 7,5 Gb решил прервать скачивание тиков.

Баг! Вся инфа за октябрь индикаторами показывается. А файл увеличивается бесконечно.

Нужно критическое обновление билда, потому как невозможно работать - винт забивается, не говоря уже про траффик.

Vladislav Andruschenko 2016.10.05 09:24 #17195

всем привет

кто сталкивался с такой непонятной ошибкой

советник пытается открыть сделку на WDOX16 например, получает ответ = 0

при этом пишет что операция успешна: Result = 0 symbol WDOX16 volume 1.0 action 1 tp 3264.5 sl 3239.5 type 0 price 3250.0 The operation completed successfully

но при этом ничего нигде не открывается. ?

Request Timeout мт5 Советник тестируется, но не Возникает ошибка в тестере,

Test Account 2016.10.05 09:36 #17196

fxsaber:

Скрипт

Результат (запуск на других символах дает тот же результат) на пустом терминале (один чарт без советников и индикаторов)

А вы всегда милилард тиков запрашиваете? Это ж 49 гигабайт только на массив. Тики по Si-12.16 с января месяца до сего момента 15789962 штук.

Небольшой скрипт, на основе вашего, считает кол-во тиков по месяцам.

void OnStart()
  {
   MqlTick Ticks[];
   int Amount=CopyTicks(_Symbol,Ticks,COPY_TICKS_ALL,D'2016.01.01'*1000,ulong(100000000));
   MqlDateTime str;
   TimeToStruct((Ticks[0].time_msc-Ticks[0].time_msc%1000)/1000,str);
   char m=(char)str.mon;
   long n=StringToTime(StringFormat("01.%d.2016",m+1))*1000;
   int pos=0;
   for(int i=0;i<Amount;i++)
     {
      if(Ticks[i].time_msc>=n || i==Amount-1)
        {
         PrintFormat("Month %d: %d ticks, %d Mb",m,i-1-pos,(sizeof(MqlTick)*(i-1-pos))>>20);
         m++;
         n=StringToTime(StringFormat("01.%d.2016",m+1))*1000;
         pos=i;
        }
     }
  }

и дает такой результат

2016.10.05 10:31:51.249 CalcTick (Si-12.16,M1)  Month 1: 122413 ticks, 6 Mb
2016.10.05 10:31:51.249 CalcTick (Si-12.16,M1)  Month 2: 78627 ticks, 3 Mb
2016.10.05 10:31:51.252 CalcTick (Si-12.16,M1)  Month 3: 758652 ticks, 37 Mb
2016.10.05 10:31:51.253 CalcTick (Si-12.16,M1)  Month 4: 388578 ticks, 19 Mb
2016.10.05 10:31:51.254 CalcTick (Si-12.16,M1)  Month 5: 181053 ticks, 8 Mb
2016.10.05 10:31:51.255 CalcTick (Si-12.16,M1)  Month 6: 408080 ticks, 20 Mb
2016.10.05 10:31:51.257 CalcTick (Si-12.16,M1)  Month 7: 458366 ticks, 22 Mb
2016.10.05 10:31:51.260 CalcTick (Si-12.16,M1)  Month 8: 867396 ticks, 43 Mb
2016.10.05 10:31:51.297 CalcTick (Si-12.16,M1)  Month 9: 10973162 ticks, 544 Mb
2016.10.05 10:31:51.301 CalcTick (Si-12.16,M1)  Month 10: 1555625 ticks, 77 Mb

Вот как это выглядит на диске

Великолепный Дядя Мартин Гейл Анализ результатов тестов и Тестер стратегий и брокер

fxsaber 2016.10.05 09:44 #17197

Alexey Da:

А вы всегда милилард тиков запрашиваете? Это ж 49 гигабайт только на массив. Тики по Si-12.16 с января месяца до сего момента 15789962 штук.

Нет, только в данном случае. Если я запрашиваю триллиард тиков, а их на само деле меньше 20 миллионов, то зачем пытаться выделить памяти под триллиард?!

Триллиард - это с запасом. Но это ни капли не говорит, что я столько запрашиваю. Это говорит только о том, что "дай мне ВСЕ тики с указанной даты".

Небольшой скрипт, на основе вашего, считает кол-во тиков по месяцам.

и дает такой результат

Вот как это выглядит на диске

Вы ставите опыты на Открытии, у меня - БКС. Скрин Ваш ничего не имеет общего с моим и со скрином Карпутова (то же Открытие) - у обоих октябрь-tkc значительно больше. И увеличивается ПОСТОЯННО!

Тестируем 'CopyTicks' Принцип работы FileFlush() Странное поведение WebRequest в

Vladimir Karputov 2016.10.05 09:48 #17198

Alexey Da:

А вы всегда милилард тиков запрашиваете? Это ж 49 гигабайт только на массив. Тики по Si-12.16 с января месяца до сего момента 15789962 штук.

Небольшой скрипт, на основе вашего, считает кол-во тиков по месяцам.

и дает такой результат

Вот как это выглядит на диске

Без разницы сколько заказывать. Даже при заказе 20000 тиков (двадцать тысяч) файл за 10 месяц измеряется в гигибайтах.

Скрипт, при запросе 20000

//+------------------------------------------------------------------+
//|                                                    CopyTicks.mq5 |
//|                        Copyright 2015, MetaQuotes Software Corp. |
//|                                             https://www.mql5.com |
//+------------------------------------------------------------------+
#property copyright "Copyright 2015, MetaQuotes Software Corp."
#property link      "https://www.mql5.com"
#property version   "1.01"
//--- покажем окно входных параметров при запуске скрипта
#property script_show_inputs
input int  ticks=200000000;  // количество запрашиваемых тиков
//---
MqlTick ExTicks[];
//+------------------------------------------------------------------+
//| Script program start function                                    |
//+------------------------------------------------------------------+
void OnStart()
  {
//--- запросим тики
   int copied=CopyTicks(_Symbol,ExTicks,COPY_TICKS_ALL,0,ticks);
//--- если тики получены, то выведем на график значения Bid и Ask  
   Print("Получено тиков: ",copied," код ошибки: ",GetLastError());
   if(copied>1)
     {
      Print("Тик: ",ExTicks[0].time," bid: ",ExTicks[0].bid," ask: ",ExTicks[0].ask," last: ",ExTicks[0].last," [0]");
      Print("Тик: ",ExTicks[copied-1].time," bid: ",ExTicks[copied-1].bid," ask: ",ExTicks[copied-1].ask," last: ",ExTicks[copied-1].last," [",copied-1,"]");
     }
   Print("Size ",((long)copied*sizeof(MqlTick))>>20, " Mb");
  }
//+------------------------------------------------------------------+

давал неимоверный рост файла за 10 месяц - размер измерялся в Гигабайтах.

При выключенном терминале я удадил тиковый файл за 10 месяц (размер примерно 7,5 Гб).

Затем я запустил Ваш скрипт

void OnStart()
  {
   MqlTick Ticks[];
   int Amount=CopyTicks(_Symbol,Ticks,COPY_TICKS_ALL,D'2016.01.01'*1000,ulong(100000000));
   MqlDateTime str;
   TimeToStruct((Ticks[0].time_msc-Ticks[0].time_msc%1000)/1000,str);
   char m=(char)str.mon;
   long n=StringToTime(StringFormat("01.%d.2016",m+1))*1000;
   int pos=0;
   for(int i=0;i<Amount;i++)
     {
      if(Ticks[i].time_msc>=n || i==Amount-1)
        {
         PrintFormat("Month %d: %d ticks, %d Mb",m,i-1-pos,(sizeof(MqlTick)*(i-1-pos))>>20);
         m++;
         n=StringToTime(StringFormat("01.%d.2016",m+1))*1000;
         pos=i;
        }
     }
  }

всё оказалось в норме, гигантомании в размерах не отмечено - очень странно.

потом снова свой скрипт (во входных параметрах 20000). Всё стабилизировалось - но файл ещё утром разрастался до неимоверных размеров! Сам видел и проводил эксперимент!

По поводу сколько миллиардов тиков запрашывать - хоть триллион - больше того, что есть, терминал не выдаст.

Новая версия платформы MetaTrader Небольшое исследование: функция ArrayResize() Вопросы от начинающих MQL5

fxsaber 2016.10.05 09:51 #17199

Karputov Vladimir:

Всё стабилизировалось - но файл ещё утром разрастался до неимоверных размеров! Сам видел и проводил эксперимент!

Разница с текущим моментом в том, что тогда эксперимент проводился при закрытом рынке.

fxsaber 2016.10.05 10:09 #17200

Сейчас запустил скрипт.

Результат

2016.10.05 11:05:03.374 Test (Si-12.16,M5)      (Amount*sizeof(MqlTick))>>20 = 72 Mb Ticks[0].time = 2016.10.03 09:45:02 Ticks[Amount-1].time = 2016.10.05 11:05:55

Все работает, как надо. Честь и хвала за формат сжатия в 72/5 ~ 15 раз.

Надо разбираться, почему на закрытом рынке такой поганый баг появляется.

Кстати, Alexey Da, почему у Вас 201610.tkc больше, чем у меня?

Любой вопрос новичка, чтоб Разработчикам Плз. Подскажите Как будет

Ошибки, баги, вопросы - страница 1720