В чем отличие GRNN и PNN нейронных сетей?

Новый комментарий
 
Топологию указанных нейронных сетей я знаю. Мне известны алгоритмы их работы в достаточной степени, чтобы их понимать. Меня интересуют различия в области применения. Т. е. для каких задач используется вероятностная нейросеть, а для каких нейросеть с обобщенной регрессией и почему их следует применять именно для этих задач? Ловлю себя на мысли что для определенного спектра задач (для задач регрессии) можно использовать оба вида сетей, причем результат качественно не будет отличаться, так ли это?
 

Чтобы не вводить себя же в заблуждение наукообразными академическими реверансами, советую например в матлабе потестить интересуемые архитектуры на простых выборках данных небольшой размерности чтобы можно было результат вывести как облако точек.

До 10 тестов на разных выборках с разной сложностью зависимости между данными, дадут ясное понимание как ПРАКТИЧЕСКИ отличаются архитектуры.

Для меня нейросеть это просто фильтр, я мыслю о них как о своего рода «выпрямителях» фазвого пространства, после которых данные становятся разделимы.

Где то читал что в строгом математическом смысле достаточно многослойного персептрона для всех мыслимых задач, а новомодные навороты это от лукавого, но я не поддерживаю эту точку зрения. Как говорится теоремы теоремами, а на практике работают эвристики под задачу.

 
Вроде как архитектура дает преимущество в пределах 15%. Возможно и нет смысла заморачиваться.
 

Какие характеристики обсуждаете?  

Если речь про скорость, то ничего конкретного сказать нереально в общем случае. Влияющих факторов очень много, от обучающих выборок их размера и структуры, до програмерских факторов, вроде языка на котором написано приложение, качества алгоритма, всяких распараллеливаний, использования GPU и тп. Обе архитектуры могкт как выигрывать так и проигрывать друг другу на пару порядков по скорости в зависимости от комбинаций факторов.

 
Alex_Bondar:

Какие характеристики обсуждаете?  

Если речь про скорость, то ничего конкретного сказать нереально в общем случае. Влияющих факторов очень много, от обучающих выборок их размера и структуры, до програмерских факторов, вроде языка на котором написано приложение, качества алгоритма, всяких распараллеливаний, использования GPU и тп. Обе архитектуры могкт как выигрывать так и проигрывать друг другу на пару порядков по скорости в зависимости от комбинаций факторов.

Нет-нет, не скорость. Имеется ввиду качественная характеристика выхода сети (прогнозы или сигналы на открытие/закрытие и т.д.). Я размышляю из того, что нейросеть является черной коробочкой (математической моделью), которая сама в процессе обучения находит нужные зависимости между величинами, исходя из того, что подано на вход (индикаторы, цены, и т.д.). В случае PNN и GRNN мы имеем дело с радиальным слоем элементов (я это понимаю так, что каждый элемент этого слоя хранит в себе некую интерпретацию набора данных из обучающей выборки, выраженную в виде числа, X, см. Гауссова функция), и если этот слой повторяется, то механизм работы схож и в обоих случаях задача сети сводится к вычислению вероятности принадлежности набора данных, подданного на вход к числу Х.

Допустим, имеется реализация обеих этих сетей в виде программы, у них одинаковое число входов, и одинаковое число выходов (один), тогда различие в топологии будет в том, что в GRNN будет дополнительный скрытый слой, который у PNN отсутствует. Этот слой дает какую-то свою оценку данным с предыдущего слоя, собственно вопрос тогда и сводится к тому, что может ли этот дополнительный слой качественно повлиять на выход нейросети? Я думаю нет. Исходя из опыта работы с многослойными перцептронами, думаю, что дополнительный слой здесь погоды не сделает. Чтобы было нагляднее приложу ссылки, на которые я ориентируюсь, оценивая архитектуру сети:

http://generation6.narod.ru/glossary_o2.htm

http://generation6.narod.ru/glossary_v1.htm 

 
jommerbot:


Вроде они отличаются только "смыслом" обрабатываемых данных, который в случае PNN означает необходимость трансляции в диапазон 0..1 и получения фактически полной вероятности по Байесу, а в случае GRNN - любая непрерывная функция. По крайней мере, в книгах так пишут, например - http://books.google.ru/books?id=U5np34a5fmQC&pg=PA135&lpg=PA135&dq=GRNN+PNN&source=bl&ots=SqZ_LWwiDR&sig=aKTU8wgf334rHN4Dwb5ssYcxHe0&hl=ru&sa=X&ei=EU3NU724HuG6ygO2l4D4Ag&ved=0CEwQ6AEwBg#v=onepage&q=GRNN%20PNN&f=false.

Я делал себе PNN, потому что мне нужны были вероятности и не заморачивался другим названием для той же самой архитектуры.

По полученному результату при применении на одних и тех же данных они не должны различаться: вот кто-то проверял - http://www.r-bloggers.com/grnn-and-pnn/.

Handbook of Statistical Analysis and Data Mining Applications
Handbook of Statistical Analysis and Data Mining Applications
  • books.google.ru
books.google.ru - The Handbook of Statistical Analysis and Data Mining Applications is a comprehensive professional reference book that guides business analysts, scientists, engineers and researchers (both academic and industrial) through all stages of data analysis, model building and implementation. The Handbook helps...
 
marketeer:

Вроде они отличаются только "смыслом" обрабатываемых данных, который в случае PNN означает необходимость трансляции в диапазон 0..1 и получения фактически полной вероятности по Байесу, а в случае GRNN - любая непрерывная функция. По крайней мере, в книгах так пишут, например - http://books.google.ru/books?id=U5np34a5fmQC&pg=PA135&lpg=PA135&dq=GRNN+PNN&source=bl&ots=SqZ_LWwiDR&sig=aKTU8wgf334rHN4Dwb5ssYcxHe0&hl=ru&sa=X&ei=EU3NU724HuG6ygO2l4D4Ag&ved=0CEwQ6AEwBg#v=onepage&q=GRNN%20PNN&f=false.

Я делал себе PNN, потому что мне нужны были вероятности и не заморачивался другим названием для той же самой архитектуры.

По полученному результату при применении на одних и тех же данных они не должны различаться: вот кто-то проверял - http://www.r-bloggers.com/grnn-and-pnn/.

Блестяще! Как раз то, что я искал, спасибище большое =)
Новый комментарий
Причина обращения: