スクリプト形式のニューラルネットワーク - ページ 11 1...4567891011121314 新しいコメント 削除済み 2008.07.02 08:34 #101 " 層内のニューロン数の変化 " レイヤーのニューロン数 1.同じです。 2.異なる。 a) 層から層へと数を増やしていく。 b) ある層から別の層へ減少する。 c) 増加（減少）率？ --- 2008.07.02 08:38 #102 Neutron писал (а)>> 入力数と学習サンプルの大きさ（パターン数）の積は、NS重みの2乗に等しいことが望ましい。 この姿にちょっとビビる。これは正常な動作のための最小限の数値なのか、それとも最適な数値なのか、どちらなのでしょうか？ つまり、入力に20個の値のベクトルを与え、ベクトルの総数が少なくとも50000個あれば、ネットの重みの数はSqrt(20*50000)=1000個以上でなければならないということでしょうか。そうだろ？ --- 2008.07.02 08:42 #103 Andy_Konさんからの質問を少し言い換えたものです。 20-50-10-1や20-40-1など、波動の原理に従って組織化されたネットワークの例を見たことがあります。つまり、途中でネットワークの拡張があるのです。(隠れ層のニューロン数は入力層の数倍)。 私のメッシュをテストした結果、ニューロンの隠れ層が多いほど学習がスムーズに進み、その結果、出力が不鮮明になってしまうという結論に至りました。例えば20-20-1であれば、ネットワークはよりシャープに解を見つけ、出力にシャープな値を出力する。 例えば、入力ニューロンの数に応じて隠れ層のニューロン数が最適になるような理論的・実際的な原理があれば。 ありがとうございます。 Neutron 2008.07.02 08:46 #104 Andy_Kon писал (а)>> " 層内のニューロン数の変化 " レイヤーのニューロン数 1.同じです。 2.異なる。 a) 層から層へと数を増やしていく。 b) ある層から別の層へ減少する。 c) 増加（減少）率？ さて、私は1つの隠れ層で十分であるという定理へのリンクを示しました。 だから、列挙された問題はすべて自然に消えていくのです。もうひとつは、非線形主成分法を用いて入力の次元数を減らすか、競合層を用いたハイブリッドNSを用いるか......です。しかし、その場合、質問も適切でなければならない。 セルゲイエフが 書いた(a)>>。 この姿にちょっとビビッてしまったんです。これは正常な動作のための最小値なのか、最適値なのか、どちらなのでしょうか？ つまり、20個の値のベクトルを取り、ベクトルの総数が少なくとも50000個あれば、重みのネットワーク全体はSqrt(20*50000)=1000個以上含まれなければならないということでしょうか。そうなんですか？ 正解です。 この問題が表面的に（分かりやすく）研究されているEzhovとShumskyの著書「Neurocomputing」へのリンクを貼っておきます。 TheXpert 2008.07.02 08:47 #105 Andy_Kon писал (а)>> ネットワークの次元や「階層化」のパターン数（patters）に対する依存性はどのようなものでしょうか？ 1.隠れ層は入力層より少なくとも1要素分大きくなければならず、そうしないと隠れ層の情報が圧縮されてしまい、結果的に全く役に立ちません。 2.調整するパラメーターの数を考慮する。パラメータの数がパターンの数を超えると、過剰に学習されたネットワークになる危険性があります。もっとパターンがあるはずだ。ネットワークが学習している間は、ネットワークのサイズを小さくすることができます。 TheXpert 2008.07.02 08:49 #106 sergeev писал (а)>> Andy_Konさんからの質問を少し言い換えたものです。 20-50-10-1や20-40-1など、波動の原理に従って組織化されたネットワークの例を見たことがあります。つまり、途中でネットワークの拡張があるのです。(隠れ層のニューロン数は入力層の数倍)。 私のメッシュをテストした結果、ニューロンの隠れ層が多いほど学習がスムーズに進み、その結果、出力が不鮮明になってしまうという結論に至りました。例えば20-20-1であれば、ネットワークはよりシャープに解を見つけ、出力にシャープな値を生成する。 例えば、入力ニューロンの数に応じて隠れ層のニューロン数が最適になるような理論的・実際的な原理があれば。 ありがとうございます。 それよりも、20-21-1 --- 2008.07.02 08:51 #107 TheXpert писал (а)>> あるいは、20-21-1が良い。 ちなみに、隠れ層ではニューロン数を入力層の倍数にしていないことにも気づきました。>> なぜ？ TheXpert 2008.07.02 08:59 #108 Neutron писал (а)>> さて、私は隠れ層は1層で十分だという定理へのリンクを示しました。 だから、上記のような問題は自然と消えていく。もうひとつは、非線形主成分法を用いて入力の次元を減らすか、競合層を用いたハイブリッドNSを使うか......ということです。が、その場合、質問は適切でなければならない。 とはいえ、5層のペルセプトロンで解決する問題も多いので、この定理があるからといって、3層のペルセプトロンが万能というわけではありません。 5-6-6-2のネットワークと、5-25-2の3層置き換えと、どちらがいいのでしょうか？このような大きな数値は、適切な非直線性には有効かもしれません。 ところで、XORaの最も収束性の高いアーキテクチャをご存じでしょうか？ 0 ---- \ \ 0 ----0 ---> / / 0 ---- 4ニューロン・ミドル -- シグモイド TheXpert 2008.07.02 09:00 #109 sergeev писал (а)>> ところで、隠れ層のニューロン数が入力層の倍数になっていないことにも気がつきました。>> なぜ？ 私の経験では、入力に近いほどよく、20入力の場合は21が最適です。 --- 2008.07.02 09:12 #110 TheXpert писал (а)>> 私の実践では、入力に近ければ近いほどよく、21 - 20入力が最適です。 うーん...この最適なまとめ方はないものか。そして、5プライと3プライのものについては、私も不思議に思っています。理論はどうした？ 1...4567891011121314 新しいコメント 取引の機会を逃しています。 無料取引アプリ 8千を超えるシグナルをコピー 金融ニュースで金融マーケットを探索 新規登録 ログイン スペースを含まないラテン文字 このメールにパスワードが送信されます エラーが発生しました Googleでログイン WebサイトポリシーおよびMQL5.COM利用規約に同意します。 新規登録 MQL5.com WebサイトへのログインにCookieの使用を許可します。 ログインするには、ブラウザで必要な設定を有効にしてください。 ログイン/パスワードをお忘れですか？ Googleでログイン
" 層内のニューロン数の変化 "
レイヤーのニューロン数
1.同じです。
2.異なる。
a) 層から層へと数を増やしていく。
b) ある層から別の層へ減少する。
c) 増加（減少）率？
入力数と学習サンプルの大きさ（パターン数）の積は、NS重みの2乗に等しいことが望ましい。
この姿にちょっとビビる。これは正常な動作のための最小限の数値なのか、それとも最適な数値なのか、どちらなのでしょうか？
つまり、入力に20個の値のベクトルを与え、ベクトルの総数が少なくとも50000個あれば、ネットの重みの数はSqrt(20*50000)=1000個以上でなければならないということでしょうか。そうだろ？
Andy_Konさんからの質問を少し言い換えたものです。
20-50-10-1や20-40-1など、波動の原理に従って組織化されたネットワークの例を見たことがあります。つまり、途中でネットワークの拡張があるのです。(隠れ層のニューロン数は入力層の数倍)。
私のメッシュをテストした結果、ニューロンの隠れ層が多いほど学習がスムーズに進み、その結果、出力が不鮮明になってしまうという結論に至りました。例えば20-20-1であれば、ネットワークはよりシャープに解を見つけ、出力にシャープな値を出力する。
例えば、入力ニューロンの数に応じて隠れ層のニューロン数が最適になるような理論的・実際的な原理があれば。
ありがとうございます。
" 層内のニューロン数の変化 "
レイヤーのニューロン数
1.同じです。
2.異なる。
a) 層から層へと数を増やしていく。
b) ある層から別の層へ減少する。
c) 増加（減少）率？
さて、私は1つの隠れ層で十分であるという定理へのリンクを示しました。
だから、列挙された問題はすべて自然に消えていくのです。もうひとつは、非線形主成分法を用いて入力の次元数を減らすか、競合層を用いたハイブリッドNSを用いるか......です。しかし、その場合、質問も適切でなければならない。
この姿にちょっとビビッてしまったんです。これは正常な動作のための最小値なのか、最適値なのか、どちらなのでしょうか？
つまり、20個の値のベクトルを取り、ベクトルの総数が少なくとも50000個あれば、重みのネットワーク全体はSqrt(20*50000)=1000個以上含まれなければならないということでしょうか。そうなんですか？
正解です。
この問題が表面的に（分かりやすく）研究されているEzhovとShumskyの著書「Neurocomputing」へのリンクを貼っておきます。
ネットワークの次元や「階層化」のパターン数（patters）に対する依存性はどのようなものでしょうか？
1.隠れ層は入力層より少なくとも1要素分大きくなければならず、そうしないと隠れ層の情報が圧縮されてしまい、結果的に全く役に立ちません。
2.調整するパラメーターの数を考慮する。パラメータの数がパターンの数を超えると、過剰に学習されたネットワークになる危険性があります。もっとパターンがあるはずだ。ネットワークが学習している間は、ネットワークのサイズを小さくすることができます。
Andy_Konさんからの質問を少し言い換えたものです。
20-50-10-1や20-40-1など、波動の原理に従って組織化されたネットワークの例を見たことがあります。つまり、途中でネットワークの拡張があるのです。(隠れ層のニューロン数は入力層の数倍)。
私のメッシュをテストした結果、ニューロンの隠れ層が多いほど学習がスムーズに進み、その結果、出力が不鮮明になってしまうという結論に至りました。例えば20-20-1であれば、ネットワークはよりシャープに解を見つけ、出力にシャープな値を生成する。
例えば、入力ニューロンの数に応じて隠れ層のニューロン数が最適になるような理論的・実際的な原理があれば。
ありがとうございます。
それよりも、20-21-1
あるいは、20-21-1が良い。
ちなみに、隠れ層ではニューロン数を入力層の倍数にしていないことにも気づきました。>> なぜ？
さて、私は隠れ層は1層で十分だという定理へのリンクを示しました。
だから、上記のような問題は自然と消えていく。もうひとつは、非線形主成分法を用いて入力の次元を減らすか、競合層を用いたハイブリッドNSを使うか......ということです。が、その場合、質問は適切でなければならない。
とはいえ、5層のペルセプトロンで解決する問題も多いので、この定理があるからといって、3層のペルセプトロンが万能というわけではありません。
5-6-6-2のネットワークと、5-25-2の3層置き換えと、どちらがいいのでしょうか？このような大きな数値は、適切な非直線性には有効かもしれません。
ところで、XORaの最も収束性の高いアーキテクチャをご存じでしょうか？
4ニューロン・ミドル -- シグモイド
ところで、隠れ層のニューロン数が入力層の倍数になっていないことにも気がつきました。>> なぜ？
私の経験では、入力に近いほどよく、20入力の場合は21が最適です。
私の実践では、入力に近ければ近いほどよく、21 - 20入力が最適です。
うーん...この最適なまとめ方はないものか。そして、5プライと3プライのものについては、私も不思議に思っています。理論はどうした？