記事「ニューラルネットワークが簡単に（第37回）：スパースアテンション(Sparse Attention)」についてのディスカッション
Nvidiaのグラフィックカードでは動作しないようで、異なるRTX Aグラフィックカードでも同じエラーが発生します。
次のようなエラーが発生します。
2023.04.12 07:35:20.755 Core 01 2023.03.01 00:00:00 invalid pointer access in 'NeuroNet.mqh' (2913,18)
2023.04.12 07:35:20.755 Core 01 OnInit critical error
2023.04.12 07:35:20.755 Core 01 tester stopped because OnInit failed
インテル UHD 730
メタトレーダー ビルド 3661
このエラーは、エラーログにあるように、GPUがfp64をサポートしていないことが原因です。
理由は？
2023.04.13 11:46:35.381 Core 1 2023.01.02 12:00:00 実行カーネルのエラー bool CNeuronMLMHAttentionOCL::SumAndNormilize(CBufferFloat*,CBufferFloat*,CBufferFloat*) MatrixSum: 不明な OpenCLエラー 132640
もしあなたがNvidia GPUを使っているのなら、おそらくこれが原因だろう。残念ながら、筆者は今のところNvidia GPUを使っていないので、このエラーを解決することができない。
star-ik #:
私の理由は？
2023.04.13 11:46:35.381 Core 1 2023.01.02 12:00:00 実行カーネルのエラー bool CNeuronMLMHAttentionOCL::SumAndNormilize(CBufferFloat*,CBufferFloat*,CBufferFloat*) MatrixSum: 不明な OpenCL エラー 132640
このライブラリを使ってみてください
ファイル:
NeuroNet.mqh
844 kb
新しい記事「ニューラルネットワークが簡単に（第37回）：スパースアテンション(Sparse Attention)」はパブリッシュされました:
前回は、アテンションメカニズムをアーキテクチャーに用いたリレーショナルモデルについて説明しました。これらのモデルの特徴の1つは、コンピューティングリソースを集中的に利用することです。今回は、セルフアテンションブロック内部の演算回数を減らす仕組みの1つについて考えてみたいと思います。これにより、モデルの一般的なパフォーマンスが向上します。
2023年3月のEURUSDH1履歴データを使用して、モデルを訓練し、EAをテストしました。学習プロセスにおいて、EAはテスト期間中に利益を示しましたが、しかし、利益が得られたのは、平均的な利益取引の規模が平均的な損失取引の規模よりも大きかったからです。勝ちポジションと負けポジションの数はほぼ同じでした。その結果、プロフィットファクターは1.12、リカバリーファクターは1.01となりました。
作者: Dmitriy Gizlyk