ある「特定の」入力のNSへの寄与を、実際どのように評価するのか？ - ページ 3

新しいコメント
 
alexeymosc:
逆に、情報量の多い入力と少ない入力があることも理論的にはあり得る。論理的には3つ目を削除したいところですが、削除してしまうと複雑なクアドロ関係（3つの入力-出力）が崩れてしまい、残った2つの入力はあまり情報量がなくなってしまいます。

そこで、いわば出来合いのサンプルでやってみると、学習用サンプルとその外側の両方でNSの結果が変わるのがすぐにわかります。 何かが崩れれば、最終的な結果に影響するはずです。 ある入力を削除したら劣化がなかった。別の入力を削除したら最終結果の1%未満の劣化があった。3番目の入力を削除したら10%の劣化があった。その後、2入力、3入力などの組み合わせでも同様です。

まだ数時間しか作業していませんが、すでに空白の入力、別の入力の完全重複（ミスの結果）、2つの入力を発見し、その影響は最小でもコンマ数パーセントになります。この3つの入力はまさに不要だと思います。

また、2つの入力を除外しても結果が悪化することはなく、逆に改善されることが分かりました（予想外）。エントリーは明らかに空っぽではないし、たとえ反対方向であっても結果に影響を与えるので、それを証明することができるのです。

皆さんのおかげで、本当に有益なアドバイスを得ることができました。

 
Figar0:

そこで、いわば出来合いのサンプルでやってみると、すぐに学習用サンプルとその外側の両方でNSの結果の変化を見ることができます。 何かが崩れれば、最終的な結果に影響するはずです。 ある入力を削除したら劣化がなかった。別の入力を削除したら最終結果の1%未満の劣化があった。3番目の入力を削除したら10%の劣化があった。その後、2入力、3入力などの組み合わせでも同様です。


これは、最も信頼性の高い入力の選択方法であるブルートフォース（総当り）です。難しいけど、素直なんです。がんばってください。
 

20個の入力に対して、クリーンスイープは2^20の組み合わせ、すなわち100万個といったところです。

また情報理論が頭をよぎりますが、何もアドバイスするつもりはありません。

 
Mathemat:

20個の入力に対して、クリーンスイープは2^20の組み合わせ、すなわち100万個といったところです。

だから、「ここから夕食まで」「飽きるまで」とスルーして...。
そして、遺伝子検査...。...テストラン
 

入力の「不要性」を判断することが可能です。ニューロンの重みが0に近いほど、「不要」であることを意味する。基本的に、ニューロンの値は0が掛けられ、何が入っていても 0、つまり全く入力 されないという結果になる。

このような不要なニューロンを持つことの一番のデメリットは、学習時間が不必要に長くなってしまうことです。

しかし、そのような「不要な」ニューロンは、グリッドの入力層だけでなく、そのどの層にも発生する可能性がある。

テスト学習後に不要なニューロンを探す処理を自動化することができます。ニューロンの重みのモジュロ値をとり、その値がある閾値より小さければ、それをヌルにしてください。そして、どのニューロンのウェイトが0なのかを分析し、ネットワークから除外して再トレーニングを行う必要があります。トレーニングはかなり速くなり、結果も同じになります。もちろん、その後、このような薄型のメッシュを使用します。

 
joo:

入力の「不要性」を判断することが可能です。ニューロンの重みが0に近いほど、「不要」であることを意味する。本来、ニューロンの値は0を掛け合わせたものであり、何が入っていても 結果は0、つまり入力は 全く存在しないも同然である。


しかし、入力が常にゼロになるというのはどこから来るのでしょうか？ そんなことはありえません。

この場合、他の信号と比較にならないほど小さい信号のことを指している可能性が高いです。

SSIからの信号はOsMAからの信号の数百万倍になる。 これらの信号は非干渉であり、同じスケールにスケーリングしなければ使用することはできない。

 
joo:


しかし、そのような「不要な」ニューロンは、メッシュの入力層だけでなく、メッシュのどの層にも存在することになる。


神経細胞内の変換が非線形である場合は、このようなことは起こりえません
 
mersi:

しかし、入力信号が常にゼロであることは、どこから来るのでしょうか？

この場合、他の信号と比較にならないほど小さな信号が発生している可能性が高いです。この場合は、信号の変換で簡単に修正できます。

SSIからの信号はOsMAからの信号の数百万倍になる。これらの信号は非干渉であり、スケールダウンしなければ使用できない。

私は、すべてのニューロニストにとって、ネットワークに供給するのに適した信号を1つの範囲にまとめる（スケーリングする）ことは、「我らの父」のようなものだと思っていましたが、私の見るところ、それは間違っていたようです。:)

そこで、信号はスケーリングされ、例えば[-1.0;1.0]の範囲で変化します。しかし、入力ニューロンの1つは重み0です。これはどういうことでしょうか？- つまり、グリッドはこのニューロンの入力がどんな値であろうと気にしない、ネットワークの結果はこの入力に依存しない、ということです。

mersi:
神経細胞における非線形変換では起こりえない

それは大いにあり得ることです。そして、問題を解決するのに必要以上に内層に神経細胞があると、そうなることが多いのです。

 
joo:

私は、神経細胞学者にとって、ネットワークに送る信号を一つの範囲にまとめる（スケーリングする）ことは、「我らの父」のようなものだと思っていたのですが、私の考えは間違っていたようです。:)

そのため、信号はスケーリングされ、例えば[-1.0;1.0]の範囲内で変化します。しかし、入力ニューロンの1つは重み0です。これはどういうことでしょうか？- つまり、ネットワークは このニューロンの入力がどのような値であっても気に しない、つまりネットワークの演算結果はこの入力には依存しない、ということです。

そうかもしれませんね。また、課題を解決するのに必要以上に内層に神経細胞が ある場合、このようなことがよくあります。

一見すると、この主張は間違っていないように思える。

しかし、入力Xiのデータは複数のニューロンに同時に供給され、それらのシナプスはすべて0になるとは限らないので、入力Xiを除外するとネットワークの出力は完全に変わってしまう。

--------------

ネットワーク内のニューロンの数が多ければ多いほど、ニューラルネットワークはより正確で複雑な解を求めることができる。

NSの開発者自身が、許容できる学習時間で十分な 精度を得るために、ネットワークのニューロン数を制限している。ネットワークの学習に 必要なエポック数は、ニューロン数の累乗依存で増加するためである。

 
Figar0:

金曜日とまではいかないが．

任意のNSがあり、入力A={A1, A2, ...］がある。A20}.NSを鍛えて、納得のいく結果を出す。入力A1, A2, ...の各要素の寄与を実用的に評価するにはどうしたらよいだろうか。A20でこの結果？

私の頭の中にある選択肢は、以下の通りです。

1) 要素がネットワークを通過する際のすべての重みを何らかの形で合計し、計算する。どうすればいいのか、ネットワークの操作に没頭して、なんとか係数などを計算しなければならないのですが、よくわかりません。

2）何らかの方法で「ゼロにする」、例えば入力ベクトルの要素を逆にしてみて、それが最終結果にどのような影響を与えるかを見る。今のところ、それに落ち着いています。

しかし、この第二の変種を実現する前に、私はアドバイスを求めることにした。このテーマについて、私より長く考えている人はいるだろうか。もしかしたら、どなたか私に書籍・論文をアドバイスしてくれるかもしれませんね。

科学的根拠に基づいた堅実なアプローチを経済学的な文脈の外で適用すると、幼稚な疑問が生じる。

回帰をすること。

利益 = s(1) * A0 + ...s(n) * A(n)

この回帰の係数を推定する。

すぐに、次のようになります。

せいかくりつ- を削除します。

すべての係数を合計した値が0になる確率

を楕円にすると、相関係数が得られます。

リダンダント入力テスト

入力欠落のテストを行う

係数値の安定性を調べる（ランダム性を評価する）。

12345678910...14
新しいコメント