記事「ニューラルネットワークが簡単に（第41回）：階層モデル」についてのディスカッション

[MetaQuotes]

新しい記事「ニューラルネットワークが簡単に（第41回）：階層モデル」はパブリッシュされました:

この記事では、複雑な機械学習問題を解決するための効果的なアプローチを提供する階層的訓練モデルについて説明します。階層モデルはいくつかのレベルで構成され、それぞれがタスクの異なる側面を担当します。

Scheduled Auxiliary Control（SAC-X）アルゴリズムは、階層構造を用いて意思決定をおこなう強化学習手法です。これは、報酬が疎な問題を解くための新しいアプローチです。それは4つの主要原則に基づいています。

1. 各状態-動作ペアには、（通常は疎な）外部報酬と（通常は疎な）内部補助報酬からなる報酬ベクトルが付随します。
2. 各報酬エントリには、対応する累積報酬を最大化するように学習するインテントと呼ばれる方策が割り当てられます。
3. 外部タスクエージェントのパフォーマンスを向上させる目的で、個々のインテントを選択して実行する高レベルのスケジューラーがあります。
4. 学習は方策の外側（方策の実行とは非同期）でおこなわれ、情報の有効活用のために、意図の間で経験が交換されます。

SAC-Xアルゴリズムは、これらの原理を利用して、スパース報酬問題を効率的に解きます。報酬ベクトルは、タスクの異なる側面から学習することを可能にし、複数の意図を作り出し、それぞれが自身の報酬を最大化します。Plannerは、外部目標を達成するために最適な戦略を選択することで、意図の実行を管理します。学習は政治の外でおこなわれ、異なる意図からの経験を効果的な学習に生かすことができます。

このアプローチにより、エージェントは外部報酬と内部報酬から学習することで、疎な報酬問題を効率的に解くことができます。Plannerを使うことで、行動の調整が可能になります。また、意図する者同士が経験を交換することで、情報の効率的な利用を促進し、エージェントの全体的なパフォーマンスを向上させます。

SAC-Xは、報酬がまばらな環境において、より効率的で柔軟なエージェント訓練を可能にします。SAC-Xの主な特徴は、内部補助報酬の使用です。これは、スパース性の問題を克服し、低報酬タスクの学習を促進するのに役立ちます。

SAC-Xの学習プロセスでは、各インテントは対応する補助報酬を最大化する独自の方策を持っています。スケジューラーは、任意の時間にどの意図を選択し、実行するかを決定します。これにより、エージェントはタスクのさまざまな側面から学習し、利用可能な情報を効果的に利用して最適な結果を得ることができます。

作者: Dmitriy Gizlyk

[star-ik]

アドバイザーはすべてのローソク足で買いを建て、追加した。以前どこかで見たことがあります。

Actorはマイナス誤差があるのでしょうか、それとも単なるハイフンなのでしょうか？

[star-ik]

親愛なる Dmitriy Gizlyk。あなたは以前、Fractal_LSTMをマルチスレッドに翻訳すると約束してくれましたね。時間を作っていただけませんか？そのレベルではまだ何となく理解できるのですが、それ以上は完全にダメなんです。この場合、純粋に機械的にやっても成功する可能性は低い。ここにいる多くの人があなたに感謝すると思います。結局のところ、ここはプログラマーのためのフォーラムではないのだから。

[Dmitriy Gizlyk]

star-ik #:
親愛なる Dmitriy Gizlyk。あなたは以前、Fractal_LSTMをマルチスレッドに翻訳すると約束してくれましたね。時間を作っていただけませんか？そのレベルではまだ何となく理解できるのですが、それ以上は完全にダメなんです。この場合、純粋に機械的にやっても成功する可能性は低い。ここにいる多くの人があなたに感謝すると思います。ここはプログラマーのためのフォーラムでは全くないのだから。

OpenCL実装のLSTMレイヤーについては、「ニューラルネットワーク - それは簡単だ（第22回）」の 記事で説明している：リカレントモデルの教師なしで学習する"

[star-ik]

Dmitriy Gizlyk #:

OpenCL実装のLSTMレイヤーについては、「ニューラルネットワークはシンプルだ（第22回）」の 記事で紹介している：リカレント・モデルの教師なしで学習する"

これは、私がトレードを行うことができていないEAの1つです。そのため、第4回（先生とのトレーニング）のEAでは、マルチスレッドに特化してほしいと思っています。あるいは、このEA（22）ですが、取引機能があります。