記事「ニューラルネットワークが簡単に(第84回):RevIN (Reversible Normalization)」についてのディスカッション

 

新しい記事「ニューラルネットワークが簡単に(第84回):RevIN (Reversible Normalization)」はパブリッシュされました:

入力データの前処理がモデル訓練の安定性に大きく寄与することは、すでに広く知られています。オンラインで「生」の入力データを処理するために、バッチ正規化層が頻繁に使用されますが、時には逆の手順が求められる場合もあります。この記事では、この問題を解決するための1つのアプローチについて解説します。

これまでにも、様々なオートエンコーダーモデルを訓練する際に、同様の問題に直面してきました。その際は、正規化後のオリジナルデータをターゲットとして使用することで解決しましたが、このケースでは、入力データとは異なる環境のその後の状態を記述するデータが必要になります。この問題を解決する方法の1つが、論文「Reversible Instance Normalization for Accurate Time-Series Forecasting against Distribution Shift」で提案されています。

この論文の著者は、シンプルで効果的な正規化と非正規化の方法であるReversible Instant Normalization (RevIN)を提案しています。このアルゴリズムでは、まず入力系列を正規化し、次にモデルの出力系列を非正規化することで、分布シフトに関連する時系列予測の問題を解決します。RevINは、正規化層でのシフトとスケーリングに相当する量を、非正規化層で逆にスケーリングおよびシフトする対称的な構造で、元の分布情報をモデル出力に戻します。

RevINRevINは柔軟かつ訓練可能な層で、任意の層に適用可能です。ある層で非定常な情報(インスタンスの平均と分散)を効果的に抑制し、入力層や出力層など対称的な位置にある別の層で復元します。

"Neural Networks Made Easy (Part 84): Reversible Normalization (RevIN)"

<

作者: Dmitriy Gizlyk

 
LJ1616#
ORL优化中发生错误。

您也可以简单地将图像拖放到文本中或使用Ctrl+V 粘贴。
2024.04.23 17:36:01.235 核心 01 通过 0 测试,在 0:00:00.098 中出现错误 "OnInit 返零回非代码 1"

 
皆さんこんにちは

Neural networks made easy (Part 67)のコードを実行しています:

以下のことに関して同じ問題があります。

2024.04.21 18:00:01.131 Core 4 pass 0 tested with error "OnInit returned non-zero code 1" in 0:00:00.152

'FileIsExist'コマンドに関連しているようです。

しかし、この問題を解決できません。

解決方法をご存知ですか?