Обсуждение статьи "Нейронная сеть на практике: График функции ReLU"

[MetaQuotes]

Опубликована статья Нейронная сеть на практике: График функции ReLU:

Мы создадим индикатор, полностью написанный на MQL5, для отображения на графике функции активации и её производной, взяв в качестве примера ReLU. Мы объясним влияние производных на выбор функции активации и необходимые меры предосторожности в недифференцируемых точках. Читатель сможет интерактивно визуализировать кривые и получит практическую основу, чтобы решать, когда стоит использовать те или иные функции активации, а когда — нет.

В предыдущей статье «Нейронная сеть на практике: появление C_Neuron» мы начали делать всё немного более организованно. Начнём с создания класса, предназначенного для хранения всего, что нам понадобится включить в нейрон. Это позволит нам в будущем соединить несколько нейронов в рамках архитектуры, цель которой, по сути, будет заключаться в построении небольшой простой нейронной сети. Ничего уровня ChatGPT или чего-то подобного. Цель здесь — показать энтузиастам нейронных сетей, как они работают изнутри. Без использования каких-либо дополнительных ресурсов. Программируя всё самостоятельно.

Итак, наш первый базовый нейрон уже способен на некоторые вещи, поскольку во многих простых ситуациях, в которых мы можем его проверить, он сходится. Поскольку он уже позволяет нам чрезвычайно просто и быстро изменять количество входов, это делает его гораздо более интересным с точки зрения возможных применений. Тем не менее, всё это пока находится на самом начальном этапе. Его модель пока ещё не включает ни функции активации, ни формата, который позволил бы нам располагать нейроны каскадом, формируя тем самым последовательность нейронов и, следовательно, небольшую нейронную сеть.

То, что я объясню в этой статье, и для чего, скорее всего, потребуются и другие статьи, — это именно то, что происходит внутри функции активации. Идея в том, чтобы вы, уважаемый читатель, поняли, когда, почему и как использовать и выбирать наиболее подходящую функцию активации. Каждый случай индивидуален. Не существует универсального рецепта или чего-то, что нужно делать или использовать всегда. Однако, чтобы принимать наилучшие решения, необходимо понимать, как работает каждая из функций активации и каково её влияние на всю нейронную сеть в целом.

Автор: Daniel Jose