記事"強化学習におけるランダム決定フォレスト"についてのディスカッション - ページ 8

[FxTrader562]

rogivilela:

こんにちは、

まずは、マキシム・ドミトリエフスキーの記事を祝福したい。

第二に、この話題は非常に興味深いので、注目しています。

第三に、私は分類のEAにおける報酬の執行が今日どのように行われているのか理解できないので、疑問を持ちたいと思います。

私が理解したのは、EAが負の値でポジションをクローズするとき、ベクトルの2つのインデックス（3と4）に変更を加えるということです。

この報酬の良し悪しはどのように判断すればよいのでしょうか？ ポジションがプラスになったときに報酬を増やし、一定のポイントを取りたいのですが。

ありがとうございました。

Ps.Google翻訳を使いましたが、分かりにくかったらすみません。

アカウントパラメーターをポリシーに統合する方法と、利益と損失に基づいて報酬を更新する方法として、これはまさに私が記事の最初からほぼ取り組んできたことです。しかし、今のところうまく実装できていません。

利益と損失を報酬関数に 実装しようとすると、このupdateReward()関数を完全に変更しなければならないことに気づきました。また、マトリックスの実装を完全に変更する必要があるかもしれません。

私は、BellManの方程式によるQ-learningを使って利益と損失を実装する解決策を持っています。しかし、新しい行列を作成し、ローソク足ごとに行列全体を更新する必要があります。しかし、私は行列の実装が得意ではないので、著者が新しいエージェントを用いて次の記事を発表するのを待っています。

もし、Q 値の学習に興味があり、マトリックスを実装できる人がいれば、Q 値を使用した利益と損失を使用して報酬を更新する方法について、ここで説明することができます。

インジケータの組み合わせや設定を無制限に変えてEAをテストしてきましたが、方針を更新することなく結果を改善する方法は他にないことがわかりました。エージェントは与えられたことを忠実に実行しています。したがって、勝率を上げるために小さな小さな利益を決済しているだけです。

[FxTrader562]

こんにちは、マキシム・ドミトリエフスキー、

RDFに関する次の記事の発表に向けて、何か進展や最新情報はありますか？

ありがとうございます。

[Igor Vilela]

ビルド1940にアップデートした後、計算の戻りが"-nan (ind) "の値を受け取り、機能しなくなりました。何が起こったのか、どなたかご存知ですか？

[Maxim Dmitrievsky]

Igor Vilela:
ビルド1940にアップデートした後、計算の戻りが"-nan (ind) "の値を受け取り、機能しなくなりました。何が起こったかご存知の方はいらっしゃいますか？

https://www.mql5.com/ja/code/22915 を試してみてください。

または再コンパイルしてみてください。

[Igor Vilela]

マキシム・ドミトリエフスキー、ありがとう。しかし、私はすでにこの件に関するすべての知識を得ている。エラーの原因を特定してください。バージョン1940にアップグレードしたら動かなくなりました。

[Maxim Dmitrievsky]

Igor Vilela:
マキシム・ドミトリエフスキー、ありがとう。しかし、私はすでにこの件に関するすべての知識を得ている。エラーの原因を特定してください。バージョン1940にアップグレードしたら動かなくなりました。

ここから正しいファジーライブラリをダウンロードしてください。MT5のアップデートでデフォルトに変更される可能性があります。

https://www.mql5.com/ru/forum/63355#comment_5729505

[Igor Vilela]

マキシム・ドミトリエフスキー氏に感謝します。

MATHフォルダを新しいメタトレーダーにコピーし、コンピュータを再起動しました。

[Maxim Dmitrievsky]

FxTrader562:

親愛なるマキシム・ドミトリエフスキー、

ファジィロジックを使用しない、異なるエージェントによるランダムDecision forestの実装について、次の記事を発表されましたか？

ありがとうございました。

こんにちは、FxTraderさん。新しい記事は翻訳され、現在利用可能 です。

翻訳の品質については、私の仕事ではないのでよくわかりませんが、問題ないと思います。

[Evgeniy Scherbina]

こんにちは。ニューラルネットワークのトレーニングに関して、なぜメタトレーダーに何かを追加する必要があるのか理解できません。

重みがあり、メタトレーダーの最適化メカニズムを使って最適化する必要があります。メタトレーダーの開発者は、ネットワークのトレーニングや パラメーターの最適化に関して、すでに良い進歩を遂げていると思いませんでしたか？

売買はインジケーターによって定義されたルールに従って行われます。ニューラルネットワークはこれらの指標の「観測データ」（ピークの数、取引前夜のピークの高さなど）を集約しますが、指標値そのものを集約することはナンセンスだからです。重みの構成は、トレーニングの過程で確認することができます。例えば、市場が今後2日間、 行くべきところに行った場合は+1、間違った方向に行った場合は-1です。最後に、重みの各構成は合計を持つ。こうして、ユーザーの基準に従って最適な重みの構成を最適化するのです（このような最適化パラメーターは、すべてを考え抜かなければなりませんね！）。

説明した例では、40～50行のコードが必要です。これがトレーニングによるニューラルネットワーク全体だ。なぜ複雑で理解しにくいものを発明することで、聖杯に近づいたと考えるのか？複雑で理解しがたいブラックボックスを作れば作るほど、自分はなんて賢いんだろうとお世辞を言っているようなものだ！

[Maxim Dmitrievsky]

Evgeniy Scherbina:

こんにちは。ひとつ理解できないのは、ニューラルネットワークのトレーニングに関して、なぜメタトレーダーに何かを追加する必要があるのでしょうか？

重みがあり、メタトレーダーの最適化メカニズムを使って最適化する必要があります。メタトレーダーの開発者は、すでにネットワークのトレーニングやパラメーターの最適化において良い進歩を遂げていると思いませんでしたか？

売買はインジケーターで定義されたルールに従って行われます。ニューラルネットワークは、これらの指標の「観測データ」（ピークの数、取引前夜のピークの高さなど）を集約しますが、指標値そのものを集約することはナンセンスだからです。重みの構成は、トレーニングの過程で確認することができます。例えば、市場が今後2日間、 行くべきところに行った場合は+1、間違った方向に行った場合は-1です。最後に、重みの各構成は合計を持つ。こうして、ユーザーの基準に従って最適な重みの構成を最適化するのである（このような最適化パラメーターは、すべてを考え抜かなければならないのだ！）。

説明した例では、40～50行のコードが必要です。これがトレーニングによるニューラルネットワーク全体だ。なぜ、複雑で理解しにくいものを発明することで、聖杯に近づいたと考えるのか？自分が作ったブラックボックスが複雑で理解不能であればあるほど、自分はなんて賢いんだろうとお世辞を言っているようなものだ！

大人になればわかる。

少なくとも手始めに、ニューラルネットワークに どんなソルバーが使われているのか、なぜ誰も遺伝学を使って訓練しないのか、読んでみてほしい。