ハイブリッドニューラルネットワーク - ページ 17 1...10111213141516171819202122 新しいコメント gumgum 2009.10.12 16:40 #161 試したことがある人はいますか？ ........................................................... バックプロパゲーションとコーシー学習の組み合わせ バックプロパゲーションとコーシー学習を組み合わせたアルゴリズムにおける重みの補正は、（1）バックプロパゲーションアルゴリズムで計算される方向成分、（2）コーシー分布で定義されるランダム成分の2つから構成される。 これらの成分は各重量ごとに計算され、その合計が重量の変化量となる。Cauchyアルゴリズムと同様に、一度、重みの変化を計算し、ターゲット関数を計算する。改善された場合は、変更内容が保存されます。それ以外の場合は、ボルツマン 分布で決まる確率で保存される。 ウェイト補正は、各アルゴリズムについて先に示した式を用いて計算する。 wmn,k(n+1) = wmn,k(n) + η [aΔwmn,k(n) + (1 - a) δ n,k OUT m,j ] + (1 - η)xcと する。 ここで、 ηは重みステップ成分における相対的なコーシー量とバックプロパゲーション量を制御する係数 である。 ηが 0に等しい場合、システムは完全なコーシー・マシンと なる。 ηが 1に 等しい 場合、システムは逆伝搬マシンと なる。 ........................................................ RIP 2009.10.12 20:07 #162 gumgum >> : 準ニュートンやLMAについて、もう少し詳しく教えてください。 LMA = Levenberg-Marquardtアルゴリズム 準ニュートン法 2次勾配法 簡単に言うと、書くことがたくさんある。 ニュートンのアルゴリズム。 xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで H^(-1)(xk) は点xkにおけるヘッセ行列の逆行列です。 skはステップ値です。 gradf(xk) は点xkにおける関数の勾配である。 そこで、準ニュートン法では、2階偏微分から構成される H^(-1)(xk) の代わりに、行列 H(xk) を使用します。 準ニュートン法では、2次導関数は極値差分法を用いて計算されます。したがって、最も頻繁に使用される2つの CRの計算式。 ブロイドン・フレッチャー・ゴールドファーブ・シャンノ（BFGS） デビドン - フレッチャー - パウエル（DFP）。 LMAです。 また、2階法、すなわち2階偏導関数を計算する必要があることを指します。 xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで H^(-1)(xk) は H= J^t*J (J はヤコビアン) として計算されます。 それぞれ gradf(xk) = J^t*E, J^t は転置ヤコビアン, E はネットワークエラーベクトル, とすると xk+1 = xk - [J^t*J + mu*I]^(-1)*J^t*E muはスカラーで、muが0ならヘシアン近似によるニュートン法、 mu -> + Infなら, 勾配法（スモールステップ）。 ここでは、より多くの議論がなされています。 ニューロシンセサイザ、コンストラクタ＋ラボ Hybrid neural networks. gumgum 2009.10.13 06:55 #163 rip писал(а)>> LMA = Levenberg-Marquardtアルゴリズム 準ニュートン法 2次勾配法 簡単に言うと、書くことがたくさんある。 ニュートンのアルゴリズム。 xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで H^(-1)(xk) は点xkにおけるヘッセ行列の逆行列です。 skはステップ値です。 gradf(xk) は点xkにおける関数の勾配である。 そこで、準ニュートン法では、2階偏微分から構成される H^(-1)(xk) の代わりに、行列 H(xk) を使用します。 準ニュートン法では、2次導関数は極値差分法を用いて計算されます。それに対応して、最も使用頻度の高い2つの CRの計算式。 ブロイドン・フレッチャー・ゴールドファーブ・シャンノ（BFGS） デビドン・フレッチャー・パウエル（DFP） LMAです。 また、2階法、すなわち2階偏導関数を計算する必要があることを指します。 xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで H^(-1)(xk) は H= J^t*J (J はヤコビアン) として計算されます。 それぞれ gradf(xk) = J^t*E, J^t は転置ヤコビアン, E はネットワークエラーベクトル, とすると xk+1 = xk - [J^t*J + mu*I]^(-1)*J^t*E ここで、mu はスカラー、mu が 0 ならば、ヘシアン近似によるニュートン法、 mu -> + Inf ならば。 勾配法（スモールステップ）。 ここでは、より多くの議論がなされています。 ニューロシンセサイザ、コンストラクタ＋ラボ ありがとうございます。 疑問は残るが...。真実はどこにあるのか？ 左上隅(RProp)。DE/DW(t-1)*DE/DW<0なのに、なぜDE/DW=0なのか？ Alexey Subbotin 2009.10.13 07:06 #164 gumgum >> : ありがとうございます。 疑問は残るが...。真実はどこにある？ 左上隅。DE/DW(t-1)*DE/DW<0なのに、なぜDE/DW=0なのか？ 勾配の負の積は、アルゴリズムが必要な極限を「飛び越えた」ことを示す。そのため、現在のステップでのグラデーションの値が格納されているメモリセル（グラデーションそのものではなく、メモリセルであることに注意）をゼロにすることで、次のステップで第3の条件が機能するようになるのです。これは記事を全部読むと、アルゴリズムのいいところが出ていますね。 gumgum 2009.10.13 07:10 #165 alsu писал(а)>> 勾配の負の積は、アルゴリズムが要求される極限を「オーバーシュート」したことを示す。そのため、現在のステップでのグラデーションの値が格納されているメモリセル（注：グラデーションそのものではなくメモリセルです）をゼロにし、次のステップで第3の条件が発生するようにします。これは、記事の全文を読んでいただければわかると思いますが、アルゴリズムのトリックです。 しかし、その場合、de/dw(t-1)=0が必要です。 Alexey Subbotin 2009.10.13 07:12 #166 gumgum >> : しかし、その場合、de/dw(t-1)=0が必要です。 このステップでは de/dw(t) で、次のステップでは de/dw(t-1) になります。 gumgum 2009.10.13 07:30 #167 alsu писал(а)>> このステップでは de/dw(t) で、次のステップでは de/dw(t-1) になります。 ありがとうございます。JRpropのqは、各ウェイトの個別か何かでヒントが得られますか？ gumgum 2009.10.13 08:27 #168 deltaW=n*DE/DW 他のdeltaW=n*DE/DW 他のetc......と書いている人がいて、もう混乱しているのです。 Alexey Subbotin 2009.10.13 15:06 #169 gumgum >> : ありがとうございます。JRpropのQは、各ウェイトに対して個別なのか、それとも何なのか教えてください。 私の理解する限り、qはすべての人に共通です。 RIP 2009.10.13 17:15 #170 gumgum >> : 私はすでに混乱しているある人はdeltaW=-n*DE/DW他の人はdeltaW=n*DE/DW他の人などなど......と書いています。 最初から説明すると、RPropヒューリスティックアルゴリズムは、シナプスの重みによる誤差関数の一次導関数の符号の解析を利用しています。 微分の符号が正で dEdW(t)*dEdW(t-1) > 0、つまり誤差最小化が実行されていれば、正しい方向に進んでいることになります。 もし、符号が変わっていたら、つまり、dEdW(t)*dEdW(t-1) < 0 ならば、最小値（局所最小値）を見逃しているので、2ステップ戻る必要があります。まず、先ほど逃した最小値を補正するために、あなたの例では、DELTAij(t)は、前の値のdeltaと-etaから計算します。 このステップではWij(t)を補正する必要はなく、Wijだけを前の値に戻しますが、あなたのやり方では、微分の符号が変わったところから二度戻ることになります。 deltaW=-n*DE/DW other deltaW=n*DE/DW> については、どのステップが、どの方向に、どの時点で、何をするのかを理解すればよいので、問題ないでしょう。 これはヒューリスティックなものなので、公式を厳密に守ることは重要ではなく、重要なのは原理原則である。 1...10111213141516171819202122 新しいコメント 取引の機会を逃しています。 無料取引アプリ 8千を超えるシグナルをコピー 金融ニュースで金融マーケットを探索 新規登録 ログイン スペースを含まないラテン文字 このメールにパスワードが送信されます エラーが発生しました Googleでログイン WebサイトポリシーおよびMQL5.COM利用規約に同意します。 新規登録 MQL5.com WebサイトへのログインにCookieの使用を許可します。 ログインするには、ブラウザで必要な設定を有効にしてください。 ログイン/パスワードをお忘れですか？ Googleでログイン
試したことがある人はいますか？
...........................................................
バックプロパゲーションとコーシー学習の組み合わせ
バックプロパゲーションとコーシー学習を組み合わせたアルゴリズムにおける重みの補正は、（1）バックプロパゲーションアルゴリズムで計算される方向成分、（2）コーシー分布で定義されるランダム成分の2つから構成される。
これらの成分は各重量ごとに計算され、その合計が重量の変化量となる。Cauchyアルゴリズムと同様に、一度、重みの変化を計算し、ターゲット関数を計算する。改善された場合は、変更内容が保存されます。それ以外の場合は、ボルツマン 分布で決まる確率で保存される。
ウェイト補正は、各アルゴリズムについて先に示した式を用いて計算する。
wmn,k(n+1) = wmn,k(n) + η [aΔwmn,k(n) + (1 - a) δ n,k OUT m,j ] + (1 - η)xcと する。
ここで、 ηは重みステップ成分における相対的なコーシー量とバックプロパゲーション量を制御する係数 である。 ηが 0に等しい場合、システムは完全なコーシー・マシンと なる。 ηが 1に 等しい 場合、システムは逆伝搬マシンと なる。
........................................................
準ニュートンやLMAについて、もう少し詳しく教えてください。
LMA = Levenberg-Marquardtアルゴリズム
準ニュートン法
2次勾配法簡単に言うと、書くことがたくさんある。
ニュートンのアルゴリズム。
xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで
H^(-1)(xk) は点xkにおけるヘッセ行列の逆行列です。
skはステップ値です。
gradf(xk) は点xkにおける関数の勾配である。
そこで、準ニュートン法では、2階偏微分から構成される H^(-1)(xk) の代わりに、行列 H(xk) を使用します。
準ニュートン法では、2次導関数は極値差分法を用いて計算されます。したがって、最も頻繁に使用される2つの
CRの計算式。
ブロイドン・フレッチャー・ゴールドファーブ・シャンノ（BFGS）
デビドン - フレッチャー - パウエル（DFP）。
LMAです。
また、2階法、すなわち2階偏導関数を計算する必要があることを指します。
xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで
H^(-1)(xk) は H= J^t*J (J はヤコビアン) として計算されます。
それぞれ gradf(xk) = J^t*E, J^t は転置ヤコビアン, E はネットワークエラーベクトル, とすると
xk+1 = xk - [J^t*J + mu*I]^(-1)*J^t*E muはスカラーで、muが0ならヘシアン近似によるニュートン法、 mu -> + Infなら,
勾配法（スモールステップ）。
ここでは、より多くの議論がなされています。
ニューロシンセサイザ、コンストラクタ＋ラボ
LMA = Levenberg-Marquardtアルゴリズム
準ニュートン法
2次勾配法簡単に言うと、書くことがたくさんある。
ニュートンのアルゴリズム。
xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで
H^(-1)(xk) は点xkにおけるヘッセ行列の逆行列です。
skはステップ値です。
gradf(xk) は点xkにおける関数の勾配である。
そこで、準ニュートン法では、2階偏微分から構成される H^(-1)(xk) の代わりに、行列 H(xk) を使用します。
準ニュートン法では、2次導関数は極値差分法を用いて計算されます。それに対応して、最も使用頻度の高い2つの
CRの計算式。
ブロイドン・フレッチャー・ゴールドファーブ・シャンノ（BFGS）
デビドン・フレッチャー・パウエル（DFP）
LMAです。
また、2階法、すなわち2階偏導関数を計算する必要があることを指します。
xk+1 = xk - sk*H^(-1)(xk)grad f(xk)，ここで
H^(-1)(xk) は H= J^t*J (J はヤコビアン) として計算されます。
それぞれ gradf(xk) = J^t*E, J^t は転置ヤコビアン, E はネットワークエラーベクトル, とすると
xk+1 = xk - [J^t*J + mu*I]^(-1)*J^t*E ここで、mu はスカラー、mu が 0 ならば、ヘシアン近似によるニュートン法、 mu -> + Inf ならば。
勾配法（スモールステップ）。
ここでは、より多くの議論がなされています。
ニューロシンセサイザ、コンストラクタ＋ラボ
ありがとうございます。
疑問は残るが...。真実はどこにあるのか？
左上隅(RProp)。DE/DW(t-1)*DE/DW<0なのに、なぜDE/DW=0なのか？
ありがとうございます。
疑問は残るが...。真実はどこにある？
左上隅。DE/DW(t-1)*DE/DW<0なのに、なぜDE/DW=0なのか？
勾配の負の積は、アルゴリズムが必要な極限を「飛び越えた」ことを示す。そのため、現在のステップでのグラデーションの値が格納されているメモリセル（グラデーションそのものではなく、メモリセルであることに注意）をゼロにすることで、次のステップで第3の条件が機能するようになるのです。これは記事を全部読むと、アルゴリズムのいいところが出ていますね。
勾配の負の積は、アルゴリズムが要求される極限を「オーバーシュート」したことを示す。そのため、現在のステップでのグラデーションの値が格納されているメモリセル（注：グラデーションそのものではなくメモリセルです）をゼロにし、次のステップで第3の条件が発生するようにします。これは、記事の全文を読んでいただければわかると思いますが、アルゴリズムのトリックです。
しかし、その場合、de/dw(t-1)=0が必要です。
しかし、その場合、de/dw(t-1)=0が必要です。
このステップでは de/dw(t) で、次のステップでは de/dw(t-1) になります。
このステップでは de/dw(t) で、次のステップでは de/dw(t-1) になります。
ありがとうございます。JRpropのqは、各ウェイトの個別か何かでヒントが得られますか？
deltaW=n*DE/DW 他のdeltaW=n*DE/DW 他のetc......と書いている人がいて、もう混乱しているのです。
ありがとうございます。JRpropのQは、各ウェイトに対して個別なのか、それとも何なのか教えてください。
私の理解する限り、qはすべての人に共通です。
私はすでに混乱しているある人はdeltaW=-n*DE/DW他の人はdeltaW=n*DE/DW他の人などなど......と書いています。
最初から説明すると、RPropヒューリスティックアルゴリズムは、シナプスの重みによる誤差関数の一次導関数の符号の解析を利用しています。
微分の符号が正で dEdW(t)*dEdW(t-1) > 0、つまり誤差最小化が実行されていれば、正しい方向に進んでいることになります。
もし、符号が変わっていたら、つまり、dEdW(t)*dEdW(t-1) < 0 ならば、最小値（局所最小値）を見逃しているので、2ステップ戻る必要があります。まず、先ほど逃した最小値を補正するために、あなたの例では、DELTAij(t)は、前の値のdeltaと-etaから計算します。 このステップではWij(t)を補正する必要はなく、Wijだけを前の値に戻しますが、あなたのやり方では、微分の符号が変わったところから二度戻ることになります。
deltaW=-n*DE/DW other deltaW=n*DE/DW> については、どのステップが、どの方向に、どの時点で、何をするのかを理解すればよいので、問題ないでしょう。
これはヒューリスティックなものなので、公式を厳密に守ることは重要ではなく、重要なのは原理原則である。