Обсуждение статьи "Нейронная сеть на практике: Градиент"

Новый комментарий

Опубликована статья Нейронная сеть на практике: Градиент:

В статье объясняется, почему и как используется градиент при обучении перцептрона, исходя из метода наименьших квадратов и правила цепочки для получения частных производных. Мы покажем реализацию вычисления градиента в классе C_Neuron на языке MQL5 и проверим её на примерах с 1 и 2 входами. Вы научитесь настраивать веса и смещение с помощью градиентного спуска, а также подготовитесь к прямому и обратному распространению.

В другой статье я уже затрагивал тему градиента. Однако я считаю, что там некоторые аспекты были объяснены очень плохо. Возможно, именно поэтому так много людей путаются в этом вопросе. Здесь я объясню это гораздо проще, потому что скоро мы перейдём к куда более сложной теме. Пока мы не будем добавлять функции активации в класс C_Neuron. Это потому, что я не хочу преждевременно и без необходимости всё усложнять.

Итак, градиент — это гораздо более простой и удобный способ представить производную. Или, точнее, способ действительно использовать касательную, когда мы работаем с несколькими переменными. Таким образом, во многих случаях мы можем использовать более эффективный метод вычисления, чтобы добиться сходимости.

Прежде всего нужно понять, что любой градиент — это, по сути, вектор. И что это значит на практике? Первое следствие состоит в том, что, будучи вектором, он указывает в определённом направлении. В данном случае он указывает в направлении наибольшего увеличения. Однако, если использовать его в противоположном направлении, мы сможем двигаться в сторону наименьшего увеличения или, в нашем случае, наименьшей стоимости. Именно поэтому, чтобы отличать это направление от других, мы называем его градиентным спуском.

Второй момент — и именно здесь у многих начинается путаница — заключается в том, что градиент является ортогональным вектором. По этой причине она буквально перпендикулярна другой прямой, проходящей через начало координат вектора. Именно эта прямая и является касательной. Обратите на это внимание, потому что это будет важно позже. Это отличается от того, что происходит в случае метода наименьших квадратов, где фактически строится секущая прямая. Многие ошибочно утверждают, что перцептрон использует касательную прямую. Однако, если мы проанализируем выполняемые вычисления, станет ясно, что на самом деле речь идет о секущей прямой. Поэтому будьте внимательны, указывая, какой тип прямой вы используете в тригонометрических вычислениях. Есть и другие аспекты, связанные с векторами, но для целей этих статей того, что мы только что упомянули, более чем достаточно, чтобы объяснить всё остальное.

Поэтому, поскольку градиент является вектором, во многих ситуациях работать с ним значительно удобнее. Здесь, однако, мы сосредоточимся на самом базовом аспекте, по крайней мере пока. В противном случае мы начнём обсуждать темы, не связанные с основным вопросом.


Автор: Daniel Jose

Новый комментарий