Обсуждение статьи "Нейронная сеть на практике: Вопрос шкалы"

[MetaQuotes]

Опубликована статья Нейронная сеть на практике: Вопрос шкалы:

Среди широкой публики бытует ложное представление о том, что нейронная сеть или искусственный интеллект могут в некотором смысле постигать мир, в котором мы живём. В некоторых случаях это даже может быть правдой. Но вам, если вы хотите добиться более быстрой сходимости нейронной сети или даже отдельного нейрона, нужно понимать, что шкала используемых значений часто влияет на скорость сходимости. Кроме того, в этой статье я покажу кое-что странное, что происходит в нейронных сетях. Это сведёт вас с ума и заставит задуматься о многом в этой теме.

В этой статье мы не будем уделять столько внимания коду и больше не будем говорить о методе наименьших квадратов или упоминать его, кроме очень конкретных случаев. Хотя они и останутся в коде класса C_Neuron, они будут там только потому, что потребуется объяснить ещё один вопрос, который мы пока не рассматривали и в котором как раз используется функция потерь методом наименьших квадратов. С этого момента основное внимание будет уделяться использованию градиента. Как бы то ни было, я не хочу, чтобы вы слишком привязывались к какой-либо части кода. Я хочу, чтобы вы постарались понять, почему стоит использовать одно или другое и когда это делать.

Причина очень проста: когда речь идёт о сетях перцептронов, не существует одного идеального способа всё делать. Есть то, что работает, и то, что не работает. При этом во многих случаях эффективный подход может оказаться довольно ресурсоёмким с точки зрения вычислений, поэтому его нужно будет адаптировать к более подходящей модели. Для этого вам нужно знать, как изменить код. По мере того как мы будем добавлять всё больше входов в перцептрон и увеличивать количество перцептронов, эти вопросы будут становиться всё более понятными, и вы лучше поймёшь их на практике.

Автор: Daniel Jose