Базовые типы нейронных слоев

В предыдущих разделах мы познакомились с архитектурой полносвязного перцептрона и даже построили свою первую модель нейронной сети. Мы провели ее тестирование в различных режимах, получили первые результаты и первый опыт. Но используемые в перцептроне полносвязные нейронные слои на ряду со своими достоинствами обладают и некоторыми недостатками. К примеру, полносвязный слой анализирует только текущие данные без какой-либо связи с ранее обработанными данными. По существу, каждый пакет информации анализируется в информационном вакууме. Чтобы расширить объем анализируемых данных, нужно постоянно увеличивать размер модели. При этом расходы на обучение и эксплуатацию растут в геометрической прогрессии. Полносвязный слой анализирует всю совокупность как нечто целое и не выявляет зависимостей между отдельными элементами.

В этой главе мы рассмотрим различные архитектурные решения для построения нейронных слоев, предназначенных для преодоления недостатков полносвязных слоев, которые мы изучили ранее. Полносвязные нейронные сети анализируют данные без учета их контекста и связей между ними, что может приводить к недостаточной эффективности и увеличению объема модели. Мы рассмотрим следующие архитектурные подходы:

• Сверточные нейронные сети (CNN) - мы углубимся в их архитектуру и принципы реализации, а также рассмотрим способы построения их с использованием инструментов MQL5 и OpenCL. Далее мы изучим практическое тестирование сверточных моделей для оценки их производительности и эффективности.
• Рекуррентные нейронные сети (RNN) - мы также рассмотрим их архитектуру и принципы реализации, а затем изучим способы построения LSTM-блоков с помощью MQL5 и организации параллельных вычислений средствами OpenCL. Завершим главу реализацией рекуррентных моделей на Python и их сравнительным тестированием.

Таким образом, в этой главе мы углубимся в изучение сверточных и рекуррентных нейронных сетей, их принципов работы и применения в практических задачах, а также рассмотрим различные способы их построения и оптимизации.