Как практически оценить вклад "конкретного" входа в работу НС? - страница 4

 

Можно ещё предложить такой вариант: для простоты берём НС с тремя входами.

А подаём все 20 входов, и пусть оптимизатор перебором сам найдёт оптимальную комбинацию из 3-х входов по критерию, например, прогона на форварде на предмет минимальной просадки.

Как-то так.

 
Swetten:

Можно ещё предложить такой вариант: для простоты берём НС с тремя входами.

А подаём все 20 входов, и пусть оптимизатор перебором сам найдёт оптимальную комбинацию из 3-х входов по критерию, например, прогона на форварде на предмет минимальной просадки.

Как-то так.

Это точно. У каждого есть выбор: читать книги или развивать необузданный полет мысли.
 
Figar0:

Не совсем пятнично, но ...

Есть НС, любая, есть вход А={A1, A2, .... A20}. Обучаем НС и получаем удовлетворяющий нас результат. Как нам практически оценить вклад каждого элемента входа A1, A2, ... A20 в этот результат?

Варианты навскидку пришедшие мне в голову:

1) Как-то просуммировать и посчитать все веса элемента с которыми он проходит через сеть. Не совсем понятно как это сделать, сильно придется погрузиться в работу сети, где-то как-то высчитать какие-то коэффициенты и т.д.

2) Попробывать как-то "занулить", или например перевернуть элемент входного вектора и посмотреть как это скажется на конечном результате. Пока остановился на нем.

Но прежде чем реализовывать этот второй вариант решил посоветоваться. Может кто думал на ту тему уже дольше чем я? Может кто-то книжечку-статейку посоветует?

Предлагаю написать индикатор и запустить его в отдельном окне.

Индикаторные линии позволят провести очень интересные познавательные наблюдения.

Линиями индикатора могут быть: выходы сумматоров нейронов; выходы нейронов после нелинейных преобразователей; возможно, выходы комитетов и пр., пр. Все зависит только от ваших желаний и фантазий.

Такая наглядность поможет "проникнуть" в этот черный ящик и понять, как все это там происходит/работает.

 
faa1947:
Это точно. У каждого есть выбор: читать книги или развивать необузданный полет мысли.

Для справки: как раз в книгах этот метод и описан.

Возможно, не в той форме, что я здесь подала, но по сути верно.

 
LeoV:

Степень влияния каждого входа реально оценить практически не возможно.

Ну хз. Относительно других входов вполне. Только надо чтобы входы нормализованы были.

А так берем прогнозные выходы за эталон и для каждого входа для всех паттернов считаем среднеквадратичную ошибку для некого очень маленького сдвига определенного входа.

 
faa1947:

Применение солидного научно обоснованного подхода вне своего эконометрического контекста вызывает детские вопросы.

Делаем регрессию:

профит = с(1) * А0 + ... с(n) * А(n)

Оцениваем коэффициенты этой регрессии.

Сразу получаем

вероятность равенства нулю конкретного коэф. - удаляем такой вход

вероятность равенства нулю всех коэффициентов вместе взятых

по эллипсам получаем коррелированность коэф

проводим тест на избыточные входы

проводим тест на пропущенные входы

проводим тест на стабильность значения коэф (оцениваем случайность их изменения)



Пришел умный дядя и дал взрослый ответ на мой детский вопрос) Ну и на том спасибо. Мало того, что регрессия и НС - несовсем одно и тоже, так и предложенный вариант как минимум не проще. Оцениваем, получаем, проводим, проводим, проводим... так еще и не понятно как трактовать результаты полученые совсем в другой системе. MACD это хорошо или плохо? А может одна ТС на нем работать, а другая нет?

Swetten:

Можно ещё предложить такой вариант: для простоты берём НС с тремя входами.

А подаём все 20 входов, и пусть оптимизатор перебором сам найдёт оптимальную комбинацию из 3-х входов по критерию, например, прогона на форварде на предмет минимальной просадки.

Как-то так.


Ну так я именно это сделал, только пошел от обратного, не брал сколькото там входов и лепил из них входные комбинации, а исключал входы и какие-то их комбинации и смотрел результат - что вообщем-то одно и тоже. Поочередно включать, исключать - как разница? В силу специфики реализации мне оказалось удобнее исключать.

faa1947:
Это точно. У каждого есть выбор: читать книги или развивать необузданный полет мысли.


Опять же, я вот даже спросил и про книжечки-статейки в том числе. Никто ничего на этот счет не присоветовал, равно как и вы. Идите все в научно-техническую библиотеку и молитесь на эконометрику, единственную нелженауку?) Хотя к книжечкам я и правда дышу ровно, так, если с образовательно или общекультурной целью в туалете полистать, практической пользы крайне немного и мало-мальски готовых решений там нет, потому как пишут их, в массе своей, фундаменталисты-теоретики, либо прикладники-неудачники. И сколько их не читай, без "необузданной фантазии" - практической пользы ноль.

 
TheXpert:

Ну хз. Относительно других входов вполне. Только надо чтобы входы нормализованы были.

А так берем прогнозные выходы за эталон и для каждого входа для всех паттернов считаем среднеквадратичную ошибку для некого очень маленького сдвига определенного входа.

Да, или - на обученной НС считаем ошибку, присваивая по очереди каждому входу его среднее значение по выборке.
 
Figar0: Пришел умный дядя и дал взрослый ответ на мой детский вопрос) Ну и на том спасибо. Мало того, что регрессия и НС - несовсем одно и тоже, так и предложенный вариант как минимум не проще. Оцениваем, получаем, проводим, проводим, проводим... так еще и не понятно как трактовать результаты полученые совсем в другой системе. MACD это хорошо или плохо? А может одна ТС на нем работать, а другая нет?

Кстати, НС - это тоже регрессия. Та же зависимость текущего отсчета от предыдущих. Но дело не в этом.

То, что предлагает faa, применимо к линейной регрессии, а нервосетка - это нелинейная регрессия.

 
Mathemat:

Кстати, НС - это тоже регрессия.

В общем случае совсем нет.
 
Ну тогда надо спрашивать у автора темы, какую сеть он пользует.
Причина обращения: