ある「特定の」入力のNSへの寄与を、実際どのように評価するのか？ - ページ 2

新しいコメント
 
nikelodeon:

何が驚きなのか？


さて、まず、すぐに長年の勘違いを一つ発見しました（笑)。

2つ目は、インプットを外すことで、インプットの情報性が低下し、NS全体の効果が下がると考えたからです。ある入力は大きく劣化し、ある入力は少し劣化する。また、もしかしたら、何も影響を与えないような入力が見つかるかもしれないので、それを削除してネットをシンプルにするかもしれません。もちろん、「空っぽ」の入力もありますし、それがないとNSが機能しない入力もありますが、それを取り除くことで、NS全体としての成果を上げることができる入力もあります。 これは驚きです。トレーニングが悪いのか、インプットが矛盾しすぎていて、単に有害なのか、どちらかでしょう。

全ては、数日間考えるための糧となる。

 
Figar0:


まず最初に、私はすぐに一つの長年の誤りを発見しました)

2つ目は、インプットを外すことで、インプットの情報性が低下し、NS全体の効果が下がると考えたからです。ある入力は大きく劣化し、ある入力は少し劣化する。また、もしかしたら、何も影響を与えないような入力が 見つかるかもしれないので、それを削除してネットをシンプルにするかもしれません。もちろん、「空っぽ」の入力もありますし、それがないとNSが機能しない入力もありますが、それを取り除くことで、NS全体としての成果を上げることができる入力もあります。これは驚きです。トレーニングが悪いのか、インプットが矛盾しすぎていて、単に有害なのか、どちらかでしょう。

だから、数日間、考える材料を得たのです。


次のトレーニング（別のサンプル）で必要になるかもしれないので...。
 
Figar0:

金曜日とまではいかないが．

任意のNSがあり、入力A={A1, A2, ...］がある。A20}.NSを鍛えて、納得のいく結果を出す。入力A1, A2, ...の各要素の寄与を実用的に評価するにはどうしたらよいだろうか。A20でこの結果？

私の頭の中にある選択肢は、以下の通りです。

1) 要素がネットワークを通過する際のすべての重みを何らかの形で合計し、計算する。どうすればいいのか、ネットワークの操作に没頭して、なんとか係数などを計算しなければならないのですが、よくわかりません。

2）何らかの方法で「ゼロにする」、例えば入力ベクトルの要素を逆にしてみて、それが最終結果にどのような影響を与えるかを見る。今のところ、それに落ち着いています。

しかし、この第二の変種を実現する前に、私はアドバイスを求めることにした。このテーマについて、私より長く考えている人はいるだろうか。もしかしたら、どなたか書籍・論文のアドバイスをいただけるかもしれません。

一般的かつ効果的な方法として、トレーニング後のNSウエイトを分析する方法があります。重みは0から有意な差がないように初期化される。例えば、平均0、標準偏差 0.1である。学習後、重要でない入力に関する重みはゼロに近いモジュロとなり、重要な入力に関する重みはゼロから大きく離れることになる。テスト済み - 合成データで動作します。
 
LeoV:

各入力の影響度を実際に見積もる ことは、ほとんど不可能です。いろいろな数式があり、専用のソフトウェアで影響度を自動計算することもできる。しかし、これらの計算はすべて概算値に過ぎず、誤差が大きい可能性があるため、実際にはあまり意味がありません。


そうですね、一般的には同じStatisticでインプットを分析した方が論理的なのですが、そこは原則的に動くシステムを移すため、大きな人件費がかかってしまいますね。 また、このような実験の解釈の曖昧さもすべて理解しています。でも、メリットがあるのは確かです。

 
Vizard:

次のトレーニングで（別のサンプルで）必要になるかもしれませんが...。
これはおそらく、NSがあり、それが訓練され、機能するので、捨てられた入力がなくても大丈夫で、ネットワークを単純化し、汎化能力を高め、少ない労力で学習の質を向上させるために、捨てることは理にかなっているのでしょう。
 
Figar0:
これはおそらくですが、NSがあり、それが訓練され、機能するので、捨てられた入力がなくても大丈夫で、ネットワークを単純化し、汎化性を高め、より低いコストで学習の質を向上させるために、捨てることは意味があることなのです。
+100500.私もそう思います。冗長入力がなくてもネットワークのパフォーマンスが低下しないのであれば、冗長入力に何の意味があるのでしょうか？絶対に排除しなければならない。
 
alexeymosc:
一般的かつ効果的な方法として、トレーニング後のNSウエイトを分析する方法があります。重みは0から有意な差がないように初期化される。例えば、平均0、標準偏差0.1である。学習後、重要でない入力に関する重みはゼロに近いモジュロとなり、重要な入力に関する重みはゼロから大きく離れることになる。テスト済み - 合成データで動作します。


しかし、このような分析を自分のシステムで簡単に実現する方法が思いつかなかったのです。だから、私は逆の方法で行ったのです。

 
レオニードが書いたことに注目してください、彼は正しいです。入力がネットワークの出力に与える影響を見つけることは不可能な作業である。そうですね、不要なものをふるい落とすことは可能ですが、このインプットとこのアウトプットの影響を判断することは現実的に不可能です。

では、その状況を想像してみてください。あなたは、正味の出力をドレインさせない2つの入力を発見しました。3つ目の入力を追加することで、ネットワークの運用を大幅に改善することができるのです。結論は？この入力が純生産高に大きな影響を与えること。実際、3つ目の入り口では、取引期間中1回か2回だけ、何らかの短期的な摂動が発生する。しかし、この攪乱こそが決定的なのだ。妨害の事実自体は些細なことでしょうが。同様に、最初の2つのエントリーのうち1つを削除しても、満足のいく結果は得られないでしょう。もうひとつは、次のような路線で仕事を指示することです。

ネットワークを学習 させる場合、関数のローカルミニマムを探索する。より正確には、誤差の大域的最小値を探索するが、局所的最小値から大域的最小値へ移動する。

ある関数のローカルミニマムが、将来的に理想的な結果を示す場面によく出くわします。

課題は単純で、学習中にネットワークがローカルミニマムを持ち、将来それを獲得できるようなネットワークへの入力（後で変更する必要はない）を選択することである。

例えば、学習中に平均して10〜20個くらいのローカルミニマムがあり、そのうちの少なくとも1個が正しいとします。しかし、できるだけ多くの収益性の高いローカルミニマムを選択した方が良いのですが......。

どうですか、この問題？こっちの方が現実に近い...。
 
nikelodeon:
レオニードが書いたことに注目してください、彼は正しいです。入力がネットワークの出力に与える影響を見つけることは不可能な作業である。そうですね、不要なものをふるい落とすことは可能ですが、このインプットとこのアウトプットの影響を判断することは現実的に不可能です。

では、その状況を想像してみてください。あなたは、正味の出力をドレインさせない2つの入力を発見しました。第3の入力を追加することで、ネットワークの運用が大幅に改善されるのです。結論は？この入力が純生産高に大きな影響を与えること。実際、3つ目の入り口では、取引期間中1回か2回だけ、何らかの短期的な摂動が発生する。しかし、この攪乱こそが決定的なのだ。妨害の事実自体は些細なものでしょうが。同様に、最初の2つのエントリーのうち1つを削除しても、満足のいく結果は得られないでしょう。もうひとつは、この方向で仕事を指示することです。

これもまた事実です。また、逆のケースもある。理論的には、情報量の多い入力と情報量の少ない入力が存在する可能性がある。論理的には3つ目を削除したいところですが、そうすると複雑な四則演算の相互関係（3つの入力と出力）が破壊され、残った2つの入力はあまり有益でなくなってしまいます。そして、この複雑な相互関係を明らかにするためには、このような宇宙数学的な装置を適用する必要があり、技術的には、わっしょいわっしょいと発行されています（まあ、少なくとも私にとってはですが）。すべてが複雑で、簡単だと思わないでください。NSは8割がた経験則で検索しています。
 
nikelodeon:

では、その状況を想像してみてください。ネットワークを先に進めない入力が2つ見つかりました。3つ目のインプットを追加すると、とても助かりますね。どのような結論になるのでしょうか？この入力が純生産高に大きな影響を与えること。実際、3つ目の入り口では、取引期間中1回か2回だけ、何らかの短期的な摂動が発生する。しかし、この攪乱こそが決定的なのだ。妨害の事実自体は些細なことでしょうが。同様に、最初の2つのエントリーのうち1つを削除しても、満足のいく結果は得られないでしょう。もうひとつは、この方向で仕事を指示することです。

入力が相互に関連していることは明らかであり、このような実験結果の解釈は最も重要な点である。1つ1つの項目を除外するだけでなく、1～5までの様々な組み合わせで（全項目の半分まで広げると思います）、先生が1つ項目を増やしたのと同じように、NSの反応の変化をトレーニング段階とフォワード段階の両方で見ています。

nikelodeon

ネットワークを学習させる場合、関数のローカルミニマムを探索する。より正確には、誤差の大域的最小値を探索するが、局所的最小値から大域的最小値へ移動する。

ある関数のローカルミニマムが、将来的に理想的な結果を示すようなケースに、私はめったに、あるいは頻繁に遭遇する。

課題は簡単で、学習中のネットワークが将来の結果を得るためのローカルミニマムを持つような、ネットワークへの入力（後で変更する必要はない）を見つけることである。

例えば、学習中に平均して10〜20個くらいのローカルミニマムがあり、そのうちの少なくとも1個が正しいとします。しかし、できるだけ多くの収益性の高いローカルミニマムを選択した方が良いのですが......。

どうですか、この問題？こっちの方が現実に近い...。

特に私は、最小の誤差ではなく、最大の利益、最小のドローダウン、満足のいくPFなどを求めています。つまり、局所的な最大値を持っているのですが、その本質は変わりません。私の問題は薄く、あるいは貧弱に解決されるのですが、長い間 ...

123456789...14
新しいコメント