市場のエチケット、あるいは地雷原でのマナー - ページ 42

 
Neutron >> :

Matcadでは、どのステップでもカウントの過程を視覚化することができます。実験

それについて一言お願いします。すべての計算が終わってから、グラフを出すようにしています。

 

私もです :-)

私が言いたかったのは、興味のある情報を何でも表示し、後で分析するのに適した形で提示することができる、ということです。

 
学習ベクトルを通して、ネットワークはn+1番目の参照だけを認識するように学習すると、どこかに書いてありましたね。これは、N個のエポックの間、トレーニングデータの位置が動かないという意味で理解すればよいでしょうか?実際、私はそうしました(異なる関数がたくさんあったそのリストで)、つまり、ベクトル誤差全体がTEST-OUTとして計算され、TESTはn+1番目のサンプルです。さて、この実装では、TESTは最後の(最大の)入力に続くカウントである。つまり、d+1番目からn+1番目までの全セクターでシフトしている。ここでエラーが発生する可能性はありますか?
 

ちょっと待てよ。

NSの入力に長さdの データベクトルを供給する。ここで、dは グリッドの情報入力の数(オフセットは含まない)である。グリッドのOUTPUTでは、学習させるために、d+1 個のカウントを投入する。このステップでは重みはランダムである。このステップで、各ベクトルを補正するためのデルタを得たことになる。記憶すること(何も修正しないこと)。1小節ずつ移動し、手順を繰り返します。補正とその四角を別々に追加する。この手順を3 回繰り返す(ウェイトの補正は行わない)。最後に、最初に全ての重みを修正する、これが学習のFIRSTエポックである。ここで、同じデータでもう一度やり直します。ただし、重みはすでに見つかっているもので始めます。最後に正しい重みを設定すると、これが学習の2回目のエポックとなる。それを100回(例えば)行うと、100エポックの学習が行われます。以上です。ネットは予知する準備ができている。最新のラストカウントを持つデータベクトル全体が供給され、予測を受け取ります。実際の(予測されたのではない)計数が来た後、重みのランダム化を行い、再度ネットワークを再トレーニングする。

 
それならエラーはない。
 

興味深い議論です:)中性子さん、ところで、結局スタート時のウェイトについての私の質問にはまだ答えていないのですか?ネットを鍛え直すという話だけでしたね。しかし、それがなくても、一度でも網を鍛え直せば、誤差が生じ、しかも重大な誤差が生じます。backprop:)を使った体験談を話しています。実は、私はこの質問にだけ興味があるのです。グリッド技法の他のことは重要ではありません。ネットの委員会をどのように見るか、また、委員会が全く必要ないように、トレーニング開始時にグリッドがグローバルミニマムに近くなるように、最初に重みを調整することが可能かもしれませんね。

 
paralocus писал(а)>>
それならエラーはない。

エポックからエポックへ移るときに、それぞれの重さを「プッシュアップ」などのヲで押し上げるのです。

これにより、ウェイトが飽和領域に入り込むことを防ぎ、トレーニング中のウェイトを+/-の範囲に保つことができます。

Registred さんが書き込みました >>

ニュートロン ところで、最初の重さについての私の質問にはまだ答えていないのですか?ネットを鍛え直すという話だけでしたね。しかし、それがなくても、一度でも網を鍛え直せば、誤差が生じ、しかも重大な誤差が生じます。backprop:)を使った体験談を話しています。実は、私はこの質問にだけ興味があるのです。グリッド技法の他のことは重要ではありません。ネットの委員会についてですが、どのように見ていますか、また、委員会は全く必要ないのでしょうか。もしかしたら、トレーニングの開始時にネットがグローバルミニマムに近くなるように、最初に重みを調整することができるかもしれませんね。

初期重みを+/-1の範囲で棚に分布するランダムな値でランダム化するんだ。それぞれのカウントでやっています。各ステップでのグリッド再トレーニングは、平均して正確にグローバルミニマムを見つけることができ、これは、一度トレーニングしたグリッドと比較して、各ステップで再トレーニングする利点です。たまたまそこに局所的な穴が開いてしまい、すべての予測が不十分になる可能性があります。この場合、スケールの出発点を最適化する方法を探すことが本当に重要です。この問題は解決していません。

ネットのコミットメントについては、便利なものではありますが、リソースを必要とします。隠れ層のニューロン数を単純に増やすことは、本質的にコミットであるが、古典的なバージョンよりもリソースを消費するが、コミットメンバーの非線形性が統合されているため、より強力であることを示すことができる。ここは実験すべきところです。

 
Neutron >> :

エポックからエポックへ移るときに、それぞれの重さを「プッシュアップ」などのヲで押し上げるのです。

これにより、ウェイトが飽和領域に広がるのを防ぎ、±5の範囲に収めながら学習することができます。

正規化する際、[-1;1]ではなく、[-0.9;0.9]の区間を単純に圧縮していますが、効果は同じで飽和していません。少し違う意味で、重み調整の過程での初期の重み付け係数は、いわゆる関数のだまし討ちによって、単に最適な値に達しないことがあります。正直なところ、悩んでいます。そして、この問題もおそらく解決していないでしょうから、モデル化するためのエビデンスがあっても、バックプロップではなかなか価値のあるものは出てきませんね。

 
Neutron >> :

初期重みを±1の範囲で棚に分布するランダムな値でランダム化するんだ。カウントダウンのたびにやっています。各ステップで再学習したグリッドは、平均して正確にグローバルミニマムを見つけることができ、これは一度学習したグリッドと比較して、各ステップで再学習する利点である。たまたまそこに局所的な穴が開いてしまい、すべての予測が不十分になる可能性があります。この場合、スケールの出発点を最適化する方法を探すことが本当に重要です。この問題は解決していません。

ネットのコミットメントについては、便利なものではありますが、リソースを必要とします。隠れ層のニューロン数を単純に増やすことは、本質的にコミットであるが、古典的なバージョンよりもリソースを消費するが、コミットメンバーの非線形性が統合されているため、より強力であることを示すことができる。ここでは実験が必要です。

これが、全体を台無しにしているんです:)。ちなみに、私の観測の結果、メッシュを素早く学習する最適な重みのランダム化は、区間 [-0.07; +0.07] であることがわかりました。なぜそうなるのかは分かりませんが:)

 
registred писал(а)>>

正規化する際、[-1;1]ではなく、[-0.9;0.9]の区間を単純に圧縮していますが、効果は同じで、飽和はありません。少し違う意味で、ウェイトを調整する過程での初期のウェイト係数は、いわゆる関数のだまし討ちによって、単に最適な値に達しないことがあります。正直なところ、悩んでいます。そして、おそらくこの問題も解決していないでしょう。だからこそ、バックプロップでは、たとえ証明のベースがモデリングに適していたとしても、価値のあるものを市場に出すことは難しいのです。

神様は正しい人の世話をする!バックプロップ法の手順は複雑ではなく、NSの学習も苦にならない、有効な方法です。

最適な値が得られないというのは、私たちBPのハッタリです。正弦波を予測するのならわかるんですけどね~。- そこには、そう、最適な価値があるのです。しかし、マーケット・チョッピーにおけるそれらは何なのでしょうか?今、最適なものがそこにあり、次のステップでは(あなたが予測している)、そこに......。を、全力で「ここ」に探してきたんですね。つまり、正確な定位問題は存在せず、各ステップで再トレーニングを行うことで満足に解決される。

理由: