記事「ニューラルネットワークが簡単に(第32部):分散型Q学習」についてのディスカッション

 

新しい記事「ニューラルネットワークが簡単に(第32部):分散型Q学習」はパブリッシュされました:

この連載で前回Q学習法を紹介しました。この手法は、各行動の報酬を平均化するものです。2017年には、報酬分布関数を研究する際に、より大きな成果を示す2つの研究が発表されました。そのような技術を使って、私たちの問題を解決する可能性を考えてみましょう。

MetaTrader 5のストラテジーテスターでテスト用EAを2週間稼働させ、モデルシグナルに基づく取引を行ったところ、約20ドルの利益が発生しました。すべての操作に最低ロットが設定されていました。下のグラフは、残高が明らかに増加傾向にあることを示しています。

ストラテジーテスターでのモデルテスト

分散型Q学習モデルのテスト

取引操作の統計では、ほぼ56%の操作が黒字でした。ただし、このEAはストラテジーテスターでモデルをテストすることのみを目的としており、金融市場における実際の取引には適していません。

作者: Dmitriy Gizlyk

 
  • 3-х сверточных слоёв предварительной обработки данных,

活性化、最適化、ウィンドウ、ステップ、ウィンドウ・アウトのパラメータは?

  • 各1000ニューロンの3つの完全連結隠れ層、

それらの活性化、最適化パラメータは?

  • 45ニューロンからなる1つの完全連結決定層(行動の3つの確率分布に対して各15ニューロン)、

活性化、最適化パラメータは?

  • 確率分布を正規化する1番目のSoftMax層。

SiftMaxはNetCreatorで指定。 45で 終わるか

 

В NetCreator указан SiftMax. У него в итоге выйдет outputs 45? 

この記事のNetCreatorを使用してください。SoftMaxのHeadsパラメータが追加されました。その中で、可能なアクションの数を指定する必要があります。すると、SoftMaxのレイヤーサイズパラメータが変更されます。

 
Ivan Butko #:

活性化、最適化のパラメーターは?

Adamを使ってすべてのニューラル層を最適化しました。SoftMaxの前に、活性化関数は使用されていません。結果領域の境界レベルでは、同じ結果を持つ多数のニューロンを作ることができます。そしてSoftMaxはそれらに同じ確率を与える。これは結果を歪めることになる。ここではSoftMaxが活性化関数である。

 
何人のエラをトレーニングしていますか?
 
あなたのEAを28章から35章まですべてコンパイルしてみたが、まだ同じエラーが出る。
ファイル:
 
チャプター22のVAEファイルを使おうとしている。コンパイルではエラーは出ないが、トレインEAをアタッチしても何も起こらない。
ファイル:
 

これは常にゼロではないのか:


(Vmax-Vmin)/Nであるべきだったのでは?

 
Carl Schreiber # :

これは常にゼロではないのか:


(Vmax-Vmin)/Nであるべきだったのでは?

こんにちは。

 

What about #include "..\Unsupervised\AE\VAE.mqh" ?
There is simple manual how to use this stuff, if VAE.mqh will appear?

*edit*VAE.mqhはこちら https://www.mql5.com/ja/articles/11245 Part22にあります。

Neural networks made easy (Part 22): Unsupervised learning of recurrent models
Neural networks made easy (Part 22): Unsupervised learning of recurrent models
  • www.mql5.com
We continue to study unsupervised learning algorithms. This time I suggest that we discuss the features of autoencoders when applied to recurrent model training.
 
IcHiAT #:

E quanto a #include "... \Unsupervised\AE 001VAE.mqh"
?VAE.mqhを使用するための簡単なマニュアルはありますか?

*editar*Aqui está o VAE.mqh https://www.mql5.com/ja/articles/11245 is there na Parte 22

はい、でもまだ下記のようなエラーが出ます。この問題は見つかりましたか?


'MathRandomNormal' - 宣言されていない識別子 VAE.mqh 92 8

',' - 予期しないトークン VAE.mqh 92 26

'0' - 想定外の演算子 VAE.mqh 92 25

'(' - アンバランスな左括弧 VAE.mqh 92 6

',' - 予期しないトークン VAE.mqh 92 29

expression has no effect VAE.mqh 92 28

',' - 予期しないトークン VAE.mqh 92 48

')' - 予期しないトークン VAE.mqh 92 56

expression has no effect VAE.mqh 92 50

')' - 予期しないトークン VAE.mqh 92 57