記事"ディープニューラルネットワーク(その7)ニューラルネットワークのアンサンブル: スタッキング"についてのディスカッション

[MetaQuotes]

新しい記事 ディープニューラルネットワーク(その7)ニューラルネットワークのアンサンブル: スタッキング はパブリッシュされました:

アンサンブルの構築を続けます。今回は、以前に作成したバギングアンサンブルに、訓練可能な結合器、つまりディープニューラルネットワークが追加されます。ニューラルネットワークの1つは、刈り込み後に7つの最良アンサンブル出力を組み合わせます。2つ目はアンサンブルの500個の出力をすべて入力として取り込み、刈り込んで結合します。ニューラルネットワークは、Python用のKeras/TensorFlowパッケージを使用して構築されます。このパッケージの特徴には簡単に触れます。テストが実行されて、バギングアンサンブルとスタッキングアンサンブルの分類品質が比較されます。

訓練履歴をプロットしましょう。

図11　DNN500ニューラルネットワーク訓練履歴

分類品質を向上させるために、ニューロンの初期化方法、ニューロンの活性化の正則化およびその重みなど、多くのハイパーパラメータを変更することができます。ほぼ直観的に選択されたパラメータで得られた結果は、有望な品質を有しますが、失望もあります。最適化なしでは、精度を0.82以上に上げることはできませんでした。結論は、ニューラルネットワークのハイパーパラメータを最適化する必要があるということです。前回の記事では、ベイジアン最適化を実験しました。ここでも同様に適用はできますが、これは別の難しいトピックです。

作者: Vladimir Perervenko

[Vladimir Perervenko]

Обсуждение и вопросы по коду можно сделать в ветке

Удачи