Обсуждение статьи "Нейронная сеть на практике: Функции активации"

[MetaQuotes]

Опубликована статья Нейронная сеть на практике: Функции активации:

Это, без сомнения, статья на тему, которую мне до сих пор больше всего понравилось писать. В ней я показал, что на самом деле нам не нужно ничего особенного, чтобы достичь определённой цели. Мы можем достичь этого разными способами, если у нас есть необходимые знания и готовность учиться и посвящать себя этому делу. Я от всей души благодарю всех, кто помог мне с выбором функций. Приведённый здесь материал носит исключительно учебный характер. Ни в коем случае не следует рассматривать это как нечто, предназначенное для чего-либо, кроме обучения и изучения представленных концепций.

В предыдущей статье «Нейронная сеть на практике: график функции Rectifier» мы разработали приложение, с помощью которого могли визуализировать график функции активации вместе с её производной. Однако то, что мы там увидели, — лишь основа для чего-то немного более сложного, и именно это станет главной темой данной статьи.

Я знаю, что многие могут считать ненужным разбираться в графике функции активации и её производной и что мы могли бы сразу углубиться в тему, оставив такие вопросы в стороне. Однако гораздо проще понять, почему сигмоидную функцию нельзя использовать в очень глубоких сетях, если вы понимаете её график.

Так что здесь мы сосредоточимся именно на этом. Мы выберем несколько функций активации и посмотрим, как можно изменить код из предыдущей статьи, чтобы графически отобразить и функцию активации, и её производную.

Автор: Daniel Jose