記事「知っておくべきMQL5ウィザードのテクニック(第32回):正則化」についてのディスカッション

 

新しい記事「知っておくべきMQL5ウィザードのテクニック(第32回):正則化」はパブリッシュされました:

正則化とは、ニューラルネットワークの各層に適用される個々の重みに比例して、損失関数にペナルティを課す形式です。ウィザードで組み立てたEAを使ったテスト実行を通じて、さまざまな正則化形式が持つ重要性を見ていきます。

正規化は、機械学習アルゴリズムの重要な側面のひとつであり、ニューラルネットワークの性能に対して大きな影響を与えます。ネットワークはしばしば、特定のパラメータに過度の重みを与え、他のパラメータを犠牲にする傾向があります。この「偏り」は、サンプル外のデータでテストした際、ネットワークのパフォーマンスを低下させる要因となります。これが正則化が開発された理由です。

正則化は、各層で使用される重みの大きさに応じて損失関数の値を増加(またはペナルティを課す)させ、収束プロセスを遅らせるメカニズムとして機能します。この方法には、アーリーストッピング、ラッソ回帰リッジ回帰、エラスティックネット、ドロップアウトなどがあります。これらの形式はそれぞれ少しずつ異なるので、すべての種類を検討することはしませんが、本稿ではラッソ回帰、リッジ回帰、ドロップアウトを取り上げることにします。

Regularization

作者: Stephen Njuki