Реализация Dropout средствами MQL5

После рассмотрения теоретических аспектов предлагаю перейти к рассмотрению варианта реализации данного метода в нашей библиотеке.

Для реализации алгоритма Dropout создадим новый класс CNeuronDropout, который мы будем включать в нашу модель отдельным слоем. Новый класс будет наследоваться напрямую от базового класса нейронного слоя CNeuronBase.

class CNeuronDropout    :  public CNeuronBase
  {
protected:
   TYPE              m_dOutProbability;
   int               m_iOutNumber;
   TYPE              m_dInitValue;
 
   CBufferType       m_cDropOutMultiplier;
 
public:
                     CNeuronDropout(void);
                    ~CNeuronDropout(void);
   //---
   virtual bool      Init(const CLayerDescription *desc) override;
   virtual bool      FeedForward(CNeuronBase *prevLayer) override;
   virtual bool      CalcHiddenGradient(CNeuronBase *prevLayer) override;
   virtual bool      CalcDeltaWeights(CNeuronBase *prevLayer, bool read)
                                                     override { return true; }
   virtual bool      UpdateWeights(int batch_size, TYPE learningRate,
                       VECTOR &Beta, VECTOR &Lambda) override { return true; }
   //--- методы работы с файлами
   virtual bool      Save(const int file_handle) override;
   virtual bool      Load(const int file_handle) override;
   //--- метод идентификации объекта
   virtual int       Type(void) override    const { return defNeuronDropout; }
  };

И первое, с чем мы сталкиваемся, — это реализация двух различных алгоритмов: одного для процесса обучения, а второго для тестирования и промышленной эксплуатации. Соответственно, нам нужно явно указать нейронному слою, по какому алгоритму нужно работать в каждом отдельно взятом случае. Для этого введем флаг m_bTrain, которому будем присваивать значение true в процессе обучения и false в процессе тестирования.

Для управления значениями флага создадим вспомогательный перегруженный метод TrainMode. В одном варианте, при указании параметра, он будет устанавливать флаг, а во втором, при вызове без параметров, он вернет текущее значение флага m_bTrain.

   virtual void      TrainMode(bool flag)       {  m_bTrain = flag; }
   virtual bool      TrainMode(void)      const {  return m_bTrain; }

В процессе всей работы с библиотекой мы выстаивали механизм переопределения методов всех классов. Тем самым мы создавали универсальную архитектуру классов, позволяющую диспетчерскому классу нашей модели работать одинаково с любым нейронным слоем, не тратя время на проверку типа нейронного слоя и разветвления алгоритмов в зависимости от используемого нейронного слоя. Для поддержания этой концепции мы вводим переменную флага и методы работы с ним на уровне базового нейронного слоя CNeuronBase.

В блоке protected  нашего класса мы объявим следующие переменные:

  • m_dOutProbability — заданная вероятность исключения нейронов;
  • m_iOutNumber  — количество исключаемых нейронов;
  • m_dInitValue  — значение для инициализации вектора маскирования, в теоретической части этой статьи мы обозначали данный коэффициент как 1/q.

Также объявим указатель на объект буфера данных для вектора маскирования m_cDropOutMultiplier.

Список методов класса довольно узнаваем, и все они переопределяют методы родительского класса.

Надо сказать, что наш новый слой не имеет матриц весовых коэффициентов. Переопределение методов CalcDeltaWeights и UpdateWeights, отвечающих за распределение градиента ошибки до матрицы весовых коэффициентов и обновление параметров модели, создано для поддержания общей архитектуры работы нейронных слоев и модели в целом. Использовать методы родительского класса мы не можем, так как отсутствие соответствующих объектов приведет к возникновению критической ошибки. А создание дополнительных неиспользуемых объектов — это нерациональная трата ресурсов. Поэтому мы переопределяем методы. Но при этом создаем их пустыми — они просто всегда будут возвращать положительное значение.

   virtual bool      CalcDeltaWeights(CNeuronBase *prevLayer, bool read)
                                                     override { return true; }
   virtual bool      UpdateWeights(int batch_size, TYPE learningRate,
                       VECTOR &Beta, VECTOR &Lambda) override { return true; }

После короткого рассмотрения структуры класса предлагаю перейти к работе над его методами. Начнем, как всегда, с конструктора класса. В данном методе укажем значение переменных по умолчанию. Использование статического объекта буфера вектора маскирования позволяет пропустить операцию его создания в конструкторе и удаления в деструкторе.

CNeuronDropout::CNeuronDropout(void)   :  m_dInitValue(1.0),
                                          m_dOutProbability(0),
                                          m_iOutNumber(0)
  {
   m_bTrain = false;
  }

Обратите внимание, что значения флага режима работы класса m_bTrain, в отличие от других переменных, указывается в теле метода. Это связано с объявлением переменной в родительском классе.

Деструктор метода остается пустым.

Далее идет метод инициализации класса CNeuronDropout::Init. В параметрах метод получает указатель на объект класса описания создаваемого нейронного слоя. В теле метода мы сразу проверяем действительность полученного указателя, а также соответствие размеров создаваемого нейронного слоя и предыдущего. Напомню, что единственная роль слоя Dropout это маскирования нейронов, при этом размеры тензора никак не изменяются.

bool CNeuronDropout::Init(const CLayerDescription *description)
  {
//--- блок контролей
   if(!description || description.count != description.window)
      return false;

После успешного прохождения блока контролей мы обнуляем размер окна исходных данных и вызываем метод инициализации родительского класса. Обнуление размера окна исходных данных укажет методу родительского класса не создавать матрицу весовых коэффициентов и другие объекты, связанные с обучением параметров нейронного слоя. Как всегда, не забываем проверить результат выполнения операций.

//--- вызов метода родительского класса
   CLayerDescription *temp = new CLayerDescription();
   if(!temp || !temp.Copy(description))
      return false;
   temp.window = 0;
   if(!CNeuronBase::Init(temp))
      return false;
   delete temp;

После успешного выполнения метода родительского класса мы сохраняем основные параметры работы нейронного слоя, включая вероятность исключения нейронов, количество исключаемых нейронов и значение инициализации матрицы маскирования. Первый параметр мы получаем от пользователя, а два других находим расчетным путем.

//--- расчет коэффициентов
   m_dOutProbability = (TYPE)MathMin(description.probability, 0.9);
   if(m_dOutProbability < 0)
      return false;
   m_iOutNumber = (int)(m_cOutputs.Total() * m_dOutProbability);
   m_dInitValue = (TYPE)(1.0 / (1.0 - m_dOutProbability));

После этого инициализируем начальными значениями буфер маскирования и устанавливаем флаг обучения нейронного слоя в положение true.

//--- инициируем буфер маскирования
   if(!m_cDropOutMultiplier.BufferInit(m_cOutputs.Rows(), m_cOutputs.Cols(),
                                                              m_dInitValue))
      return false;
   m_bTrain = true;
//---
   return true;
  }

На этом мы завершаем работу с методами инициализации класса и переходим к непосредственному созданию алгоритма метода Dropout.

Но прежде давайте вспомним, что у нас нет доступа к нейронному слою напрямую из основной программы. Сейчас мы ввели флаг режима работы нейронного слоя. Следовательно, нужно вернуться к диспетчерскому классу модели и добавить в него метод изменения состояния флага.

void CNet::TrainMode(bool mode)
  {
   m_bTrainMode = mode;
   int total = m_cLayers.Total();
   for(int i = 0; i < total; i++)
     {
      if(!m_cLayers.At(i))
         continue;
      CNeuronBase *temp = m_cLayers.At(i);
      temp.TrainMode(mode);
     }
  }

В данном методе мы сохраним значение флага в локальную переменную и в цикле переберем все нейронные слои модели с вызовом аналогичного метода для каждого нейронного слоя модели.