ニューラルネットワーク - ページ 2

[Andrey Opeyda]

xweblanser >> :

ありがとうございました！コメントが少ないのが残念ですが、なんとか頑張ってみます...。

www.nnea.net/downloads NSを使った金融市場の予測に関する研究のPDFが充実しています。登録が必要ですが、研究のセクションも見てみてください。

[削除済み]

marketeer >> :

トレーダーは、NSの内部構造を理解する必要はあまりないのです。彼にとっては、入力と出力のあるブラックボックスなのだ。このウェブサイトを含め、パブリックドメインには既製のネットワークがたくさんあります。検索ボックスに「ニューラル・ネットワーク」と入力するだけです。例えば、最新の論文の一つ-自己学習型ニューラルネットワークに基づく予測器-です。NSを利用する際の主な問題は、どのようなデータを入力して学習させるか、このデータをどのように準備するか、ネットワークの構造や規模はどうするか、などの選択である。例えば、既に述べたネットワークを、YezhovとShumskyが行った方法で学習させてみると...（「ニューロコンピューティングとその経済・ビジネスへの応用」参照、おすすめです）。 そして、最後はバタバタと終わってしまうのです。いろいろな理由があるのでしょう。そしてそこからがトレーダーの仕事である。当時と何が変わったのか（あるいは著者が語っていないこと）、設定や入力データのどこを変えればいいのかを直感するのである。

まあ、私はトレーダーですが、ほとんどプログラマーですからね...。自分のためにニューラルネットワークを書きたいと思ったのと同時に、自分にもできるんだということを証明するために......。

[削除済み]

njel >> :

NSを使った金融市場の予測に関する研究のPDFは、www.nnea.net/downloads。 登録が必要です。研究セクションもご覧ください。

>>ありがとうございました。

[Vladimir]

xweblanser >> :

1.ネットワークの各ニューロンが同じ関数であることは理解できるのですが、同じデータが入ってきたときに、同じ関数が違う値を出すことが理解できません......。

これらの入力には、異なる重みが掛けられることになる。そのため、関数値も異なってきます。ニューラルネットワークを徹底的に研究し、勾配降下法から遺伝学まで、さまざまな学習アルゴリズムを使ってみた結果、ニューラルネットワークの数学的装置は完全ではないという結論に達しました。ニューラルネットワークは、非線形関数を近似するために設計されています。コルモゴロフの定理によれば、ネットワークはあらゆる連続関数を実現することが可能である。実際には、ネットワークの並列性によって、モデリングされる関数の多数のローカルミニマムや実現がもたらされる。下図のようなネットワークを例にとるとこのネットワークは、1つの入力、1つの出力、そして2つのニューロンからなる1つの隠れ層を持っています。各隠れニューロンは入力xとその重み（w1またはw2）を掛け、その結果を活性化関数（例えばtanh）に通し、得られた値をネットワークの出力で合計します。簡単のため、バイアス入力はゼロとする。出力ニューロンの重みは同じで、1に等しい。

では、関数近似の問題を作ってみましょう。例えば、t = cos(x) (tはターゲット)という関数があるとします。ネットワークは、次の式でその値を計算します。

y = tanh(w1*x) + tanh(w2*x)

ネットワークのトレーニング（コーチング）とは、ネットワークの出力yが関数tの値に最も近くなるような重みw1、w2を見つけることである。これは、誤差の二乗和を最小化することによって達成される

E(w1,w2) = sum((t[k]-y[k])^2,k=0...p-1)とする。

ここで，和は異なる学習データ：x[k],t[k]に対して行われる．計測にノイズがない場合、最小化目標関数E(w1,w2)の表面はどのように見えるか見てみましょう t[k] = cos(x[k]):

このグラフから、目的関数Eを最小化する解(w1,w2)の集合が無限に存在することがわかります（平坦な谷に注目）。w1とw2に関して対称的なネットワークであることは、理解するのが難しいことではありません。w1、w2の初期値の選択の違いにより、ネットワークの学習結果が異なる。これらの初期値は常にランダムに選ばれるため、同じ学習データx[k],t[k]に対して連続してネットワークを学習させると、最適化された重みw1、w2の値が異なることになります。ここには、基本的にグローバルミニマムは存在しない。別の言い方をすれば、無限個のローカルミニマムはグローバルミニマムでもある。

ここで、系列にノイズを加えて、問題を複雑にしてみましょう：t[k] = cos(x[k]) + rnd.このノイズの多い系列は、パーフェクトコサインよりも価格系列に統計的に類似している。

さて、最小化関数E(w1,w2)の表面は次のようになる。

山も谷も、たくさんのピークがあることに注目してください。谷の一つをブリブリしてみよう。

ここでは、ローカルミニマムの集合をより明確に見ることができる。ここで、E(w1,w2)を勾配降下法で最適化することを想像してください。w1 と w2 の初期値によって、この降下は異なる最小値を導くことになる。しかも、このローカルミニマムは、頂上にも谷間にもありうる。ここでの遺伝的最適化は、頂上から谷の1つまで降りてきて、そこでローカルミニマムの1つで行き詰まるのを助けるだけです。このとき、出力ニューロンの重みをw1,w2以外に、これまでの考察で1としていたものも最適化すると、状況はより複雑になる。この場合、座標(w1,w2,w3,w4)を持つ膨大な数のローカルミニマムを持つ4次元空間が存在することになります。

このようにニューラルネットワークの動作を単純化して説明することで、ネットワークの並列性（または同じ層のニューロンの重みに対する出力の対称性）は、特に価格系列のようなカオス系列では局所最小値の無限集合の存在により、その学習（これらの重みの最適化）を困難にすることを証明したかったのです。

上記の計算を行ったMathCADファイルを添付します。

[Леонид]

gpwr писал(а)>> ニューラルネットワークの動作をこのように単純化して説明することで、ネットワークの並列性（または同じ層のニューロンの重みに対する出力の対称性）が、特に価格系列のようなカオス系列では無限のローカルミニマムの存在によって、その学習（これらの重みの最適化）を困難にすることを証明したかったのです。

一つ質問ですが、利益への影響はいかがでしょうか？

[Vladimir]

LeoV >> :

一つ質問ですが、これは収益性にどのように影響するのでしょうか？

安定した利益を生み出すネットワークをお持ちですか？

[削除済み]

LeoV >> :

一つ質問ですが、これは利益にどのように影響するのでしょうか？

収益性に絶対的な影響を与える。ニューラルネットワークに基づく有益なTSを実装するのに十分な、正しい、十分深いローカルミニマムが見つかる保証はない。

[Mykola Demko]

gpwr >> :

Mathcad 13で計算が開かないのですが、どのMathcadをお使いですか？

[Andrey Dik]

目標関数E(w1,w2)の最小化/最大化のポイントは、大域的な極限を見つけることである。そして、このような地球規模の極限状態が100万通りあるとしたら、NNがそのうちのどれに該当するかは、私たちにとって何の違いもないでしょう

ローカルミニマム/マキシマムのいずれかに引っかかると最悪です。しかし、それはもうNNの問題ではありません。最適化アルゴリズムの問題である。

LeoV >> :

>> ひとつ質問ですが、利益にはどのような影響があるのでしょうか？

gpwrが説明したことは、そうではありません。

[Vladimir]

Urain >> :

Mathcad 13で計算結果を開くことができないのですが、どのMathcadをお使いでしょうか？

>> Mathcad 14.>> バージョン11の同じファイルを添付します。