После рассмотрения теоретических аспектов предлагаю перейти к рассмотрению варианта реализации данного метода в нашей библиотеке.
Для реализации алгоритма Dropout создадим новый класс CNeuronDropout, который мы будем включать в нашу модель отдельным слоем. Новый класс будет наследоваться напрямую от базового класса нейронного слоя CNeuronBase.
class CNeuronDropout : public CNeuronBase
|
И первое, с чем мы сталкиваемся, — это реализация двух различных алгоритмов: одного для процесса обучения, а второго для тестирования и промышленной эксплуатации. Соответственно, нам нужно явно указать нейронному слою, по какому алгоритму нужно работать в каждом отдельно взятом случае. Для этого введем флаг m_bTrain, которому будем присваивать значение true в процессе обучения и false в процессе тестирования.
Для управления значениями флага создадим вспомогательный перегруженный метод TrainMode. В одном варианте, при указании параметра, он будет устанавливать флаг, а во втором, при вызове без параметров, он вернет текущее значение флага m_bTrain.
virtual void TrainMode(bool flag) { m_bTrain = flag; }
|
В процессе всей работы с библиотекой мы выстаивали механизм переопределения методов всех классов. Тем самым мы создавали универсальную архитектуру классов, позволяющую диспетчерскому классу нашей модели работать одинаково с любым нейронным слоем, не тратя время на проверку типа нейронного слоя и разветвления алгоритмов в зависимости от используемого нейронного слоя. Для поддержания этой концепции мы вводим переменную флага и методы работы с ним на уровне базового нейронного слоя CNeuronBase.
В блоке protected нашего класса мы объявим следующие переменные:
Также объявим указатель на объект буфера данных для вектора маскирования m_cDropOutMultiplier.
Список методов класса довольно узнаваем, и все они переопределяют методы родительского класса.
Надо сказать, что наш новый слой не имеет матриц весовых коэффициентов. Переопределение методов CalcDeltaWeights и UpdateWeights, отвечающих за распределение градиента ошибки до матрицы весовых коэффициентов и обновление параметров модели, создано для поддержания общей архитектуры работы нейронных слоев и модели в целом. Использовать методы родительского класса мы не можем, так как отсутствие соответствующих объектов приведет к возникновению критической ошибки. А создание дополнительных неиспользуемых объектов — это нерациональная трата ресурсов. Поэтому мы переопределяем методы. Но при этом создаем их пустыми — они просто всегда будут возвращать положительное значение.
virtual bool CalcDeltaWeights(CNeuronBase *prevLayer, bool read)
|
После короткого рассмотрения структуры класса предлагаю перейти к работе над его методами. Начнем, как всегда, с конструктора класса. В данном методе укажем значение переменных по умолчанию. Использование статического объекта буфера вектора маскирования позволяет пропустить операцию его создания в конструкторе и удаления в деструкторе.
CNeuronDropout::CNeuronDropout(void) : m_dInitValue(1.0),
|
Обратите внимание, что значения флага режима работы класса m_bTrain, в отличие от других переменных, указывается в теле метода. Это связано с объявлением переменной в родительском классе.
Деструктор метода остается пустым.
Далее идет метод инициализации класса CNeuronDropout::Init. В параметрах метод получает указатель на объект класса описания создаваемого нейронного слоя. В теле метода мы сразу проверяем действительность полученного указателя, а также соответствие размеров создаваемого нейронного слоя и предыдущего. Напомню, что единственная роль слоя Dropout это маскирования нейронов, при этом размеры тензора никак не изменяются.
bool CNeuronDropout::Init(const CLayerDescription *description)
|
После успешного прохождения блока контролей мы обнуляем размер окна исходных данных и вызываем метод инициализации родительского класса. Обнуление размера окна исходных данных укажет методу родительского класса не создавать матрицу весовых коэффициентов и другие объекты, связанные с обучением параметров нейронного слоя. Как всегда, не забываем проверить результат выполнения операций.
//--- вызов метода родительского класса
|
После успешного выполнения метода родительского класса мы сохраняем основные параметры работы нейронного слоя, включая вероятность исключения нейронов, количество исключаемых нейронов и значение инициализации матрицы маскирования. Первый параметр мы получаем от пользователя, а два других находим расчетным путем.
//--- расчет коэффициентов
|
После этого инициализируем начальными значениями буфер маскирования и устанавливаем флаг обучения нейронного слоя в положение true.
//--- инициируем буфер маскирования
|
На этом мы завершаем работу с методами инициализации класса и переходим к непосредственному созданию алгоритма метода Dropout.
Но прежде давайте вспомним, что у нас нет доступа к нейронному слою напрямую из основной программы. Сейчас мы ввели флаг режима работы нейронного слоя. Следовательно, нужно вернуться к диспетчерскому классу модели и добавить в него метод изменения состояния флага.
void CNet::TrainMode(bool mode)
|
В данном методе мы сохраним значение флага в локальную переменную и в цикле переберем все нейронные слои модели с вызовом аналогичного метода для каждого нейронного слоя модели.