トレーディングにおける機械学習：理論、モデル、実践、アルゴトレーディング - ページ 3332

[Aleksey Nikolayev]

Forester #:
皆さん！トピックがごちゃごちゃになっていませんか？ アレクセイの論文は1時間前に発表された。

彼の定量化については、すでに各方面から適宜議論されていると思う。私は、少なくとも200ドルをもたらしたことは彼にとって喜ばしいことだと、私が前に言ったことに付け加えることしかできない。

[Andrey Dik]

Aleksey Nikolayev #:
私たちはすでに、あらゆる方面から彼の時間における数量化について論じてきたと思う。少なくとも200ドルをもたらしてくれたことは、彼にとって喜ばしいことだと思う。

https://www.mql5.com/ru/forum/309270

あなたの小枝？今日、あなたは哲学的その他多くの捏造をオフトピック(flud)で表現していますが、何をもって「自分の主義主張を尊重しない」と言うのですか？

それに、カントやディオゲネス、おそらくアリストテレスやピタゴラスは、他人の美徳や功績を辱め、侮辱し、けなすことでハイになる人間を何と呼ぶだろう？

[Aleksey Vyazmikin]

Aleksey Nikolayev #:
私たちはすでに、あらゆる方面から彼の時間における数量化について論じてきたと思う。私は先ほど言ったことに加えて、少なくとも200ドルをもたらしてくれたことは彼にとって嬉しいことだとしか言いようがない。

ありがとう、自分の収入を喜んでくれるのは嬉しいことだ！

記事は入門編です。あなたの言う通り、そこに書いたことはすべて、とても分かりやすいと思います。

後編はほどほどに、もう少し面白い。ただ、今のところ、私自身の方法を説明するのはあきらめて、簡略化したバージョンを思いついた。それは後編で説明する。

しかし、これは新しいアイディアが本文の5％を超えない場合の話である。

よろしければ、また読みに来てコメントしてください。

[Aleksey Nikolayev]

Andrey Dik #:

https:// www.mql5.com/ru/forum/309270

あなたのスレッド？今日は哲学的な話や、その他オフトピックな話（フラッド）をたくさんしていましたが、「自分の主義主張を尊重しない」というのはどういうことですか？

それに、カントやディオゲネス、おそらくアリストテレスやピタゴラスは、他人の美徳や功績を辱め、侮辱し、けなすことでハイになる人間を何と呼ぶだろう？

どのディオゲネスを指しているのかわからないが、荒らしという意味では、シノープのディオゲネスやラエルテスのディオゲネスに比べれば、私たちはみんな子供だ。

私のスレッド、リソースへの登録、そして今日のスレッドの日付を見れば、それが明らかになるだろう。登録から2年後には、フォーラムでの建設的で有益な対話にまだ希望があったのに、6年半後にはほとんど希望がなくなっている。お遊びです。

[Aleksey Nikolayev]

Aleksey Vyazmikin #:

ありがとう。自分の収入を喜んでもらえるなんて、めったにないことだからね！

記事は入門編です。おっしゃるとおり、そこに書いたことはすべて、十分わかりやすいと思います。

後編は、もう少し面白いので、現在調整中です。しかし、現時点では、私自身の方法を説明するのをあきらめ、テストにわずかな効果をもたらす簡易版を思いついた。それは後編で説明する。

ただし、これは新しいアイディアが本文の5％を超えない場合の話である。

よろしければ、また読みに来てコメントしてください。

お誘いありがとうございます。もちろん、前編も読みましたし、後編も読むつもりです。文章について何か感想があれば、共有したいと思います。

[Aleksey Vyazmikin]

Forester #:

なぜランダムに？
1つのクラスのすべての点を循環させ、もう1つのクラスのすべての点との距離を測定し、最小距離をとる。
すべてが得られたら、ソートし、必要な距離まで削除する。一度に1組ずつ。削除された点が別の組で使われていた場合は、新しい最小距離の点を見つけ、再度ソートして続ける。
もっといい方法が思いつくかもしれない。ソートせずに、必要な距離だけ削除するとか。

うう、うまく理解できない：

1. 私たちは、サンプルの例数と同じサイズの縦横の距離の行列を作ります。
2. 新しい行列を作る。仮に2進数とすると、「最小距離」という基準を満たす点を単位とする。
3. 私が理解するところでは，ここでは，条件となる島の点の数を数え（行の単位を合計する），隣の島よりも点が多く，それらの間で点が分割されている場合，これらの点を，そのような点がより多い山（クラスタ）に割り当てる必要がある．このような点が点の集合#nに属することを確定し、ステップ2の行列にこれらの点をゼロにする。
4. 点がなくなるまでゼロ点を続ける。

アルゴリズムのプロトタイプを正しく理解できただろうか？

このような遅れでこのトピックに戻ってきたのは、CatBoostモデルや他のツリーアンサンブルのリーフが活性化において強い相関を持つ可能性があり、それがトレーニング中の信頼性を歪め、モデル全体としてのリーフ値の過大評価につながるというアイデアに少し魅了されたからである。

[Forester]

Aleksey Vyazmikin #:

僕はちょっと鈍感なんだ：

1. サンプルの例数と同じサイズの縦横の距離行列を作ります。
2. 新しい行列を構築します。仮に2進数とします。ここで単位は「最小距離」の基準を満たす点です。
3. 私が理解するところでは，ここでは，条件となる島にある点の数を数え（行の単位を合計する），もし隣の島よりも多くの点があり，それらの間で点が分割されているならば，これらの点をそのような点がより多い山（クラスタ）に割り当てる必要がある．このような点が点の集合#nに属することを確定し、ステップ2の行列にこれらの点をゼロにする。
4. 点がなくなるまでゼロ点を続ける。

アルゴリズムのプロトタイプを正しく理解できただろうか？

このような遅れでこのトピックに戻ってきたのは、CatBoostモデルや他のツリーアンサンブルのリーフが活性化において強い相関を持つ可能性があり、それがトレーニング中の信頼性を歪め、モデル全体としてのリーフ値の過大評価につながるというアイデアに少し魅了されたからである。

クラスタリングは これとは何の関係もない。互いに矛盾する異なるクラスを持つ最も近いポイント、つまりノイズを取り除くだけだ。そして、クラスタリングでもツリーでも、お好きな方法でトレーニングできます。

1) 行列を使うこともできるが、必ずしもそうではなく、0クラスの各点から1クラスの最も近い点を即座に見つける、つまり、点2を一度に得る。
3) 何もカウントせず、クラスタも参照せず、ただ最も近い点のペアを削除する。距離が閾値より小さい場合、この例での閾値は0.6になります。

削除された1クラスの点が0クラスの別の点とペアになっていた場合、ペアがない状態になり、1クラスの新しい最近接点を見つけなければなりません（再度計算を行うか、ポイント1で提案されたように行列を使用します。もしメモリが十分であれば、100万×100万の行列はどのメモリにも収まらないと思います。閾値の距離が非常に大きいと、最初はもっとあったクラスの1の点だけが残ることになる。

しかし、前にも書いたが、このノイズ除去はあまりいいアイデアとは思えない（https://www.mql5.com/ru/forum/86386/page3324#comment_50171043 参照）。予測をするときにそのノイズを除去できないわけではないからだ。ツリー自身は、ノイズのある葉には50％程度の確率を与えてマークし、例えばノイズのない葉は80％以上の確率でクラスのいずれかを取ります（あるいは、あなたが適切と考える数だけ）。

[Aleksey Vyazmikin]

Forester #:
クラスターは 関係ない。それは、互いに矛盾する異なるクラスを持つ最も近いポイント、つまりノイズを取り除くだけだ。そして、クラスタリングでも、ツリーでも、訓練したいものを使えばいい。 。

1) You can also use a matrix, but not necessarily, but immediately find each point of 0 class the closest point of 1 class, i.e. we get at once point 2.
3) do not count anything and do not refer to clusters, just remove pairs of the closest points.距離が閾値より小さい場合、この例での閾値は0.6になります。

削除された1クラスの点が0クラスの別の点とペアになっていた場合、ペアがない状態になり、1クラスの新しい最近接点を見つけなければなりません（再度計算を行うか、ポイント1で提案されたように行列を使用します。もしメモリが十分であれば、100万×100万の行列はどのメモリにも収まらないと思います。閾値の距離が非常に大きいと、最初はもっとあったクラスの1の点だけが残ることになる。

しかし、前にも書いたが、このノイズ除去はあまりいいアイデアとは思えない（https://www.mql5.com/ru/forum/86386/page3324#comment_50171043 参照）。予測をするときにそのノイズを除去できないわけではないからだ。The tree itself will mark noisy leaves by giving them a probability of about 50%, and take for example non-noisy leaves with a probability of one of the classes >80% (or as many as you see fit).

私にはまだよく理解できない。それはすべて1つの空間、つまり1つの予測変数のメトリックで起こるのですが、どうやって他のものを考慮に入れるのでしょうか？

予測を予測する際に、、、、、、、、、、ー2のー私はー私はー私はー私はー2ー「ータがータがータがータがータがータがータがータがーのーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーでーーーーーーーーーーーーー

[Maxim Dmitrievsky]

Aleksey Vyazmikin #:

私にはまだ理解できない。まあ、すべては1つの空間、つまり1つの予測因子のメトリックの中で起こっているのだが、他のものをどのように考慮すればいいのだろうか？

予測するときにどうするかということですが、私は2つのモデルを 使うことを考えていました。1つは、データが "塊 "の領域にあることを確認するか、排除されたものを検出するもので、もう1つは、すでに残っているものに対して機能するものです。

https://www.mql5.com/ru/articles/9138

もう1年も誰も気にしていない

私はこのようなアルゴリズムを10個か20個書いてきた。この記事にあるものは、結果の安定性という点ではベストではない。

というわけで、議論することは何もない。

[Yevgeniy Koshtenko]

MLは初めてです。いくつかのモデルに取り組んでいます。そして先週、問題が発生しました。どのモデルもONNX((( に保存されません。この問題に遭遇した人はいますか？

WARNING:tf2onnx.tf_loader:Could not search for non-variable resources. Concrete function internal representation may have changed.
ERROR:tf2onnx.tf_utils:pass1 convert failed for name: "model_3/lstm_4/PartitionedCall/while"
op: "StatelessWhile"
input: "model_3/lstm_4/PartitionedCall/while/loop_counter"
input: "model_3/lstm_4/PartitionedCall/while/maximum_iterations"
input: "model_3/lstm_4/PartitionedCall/time"
input: "model_3/lstm_4/PartitionedCall/TensorArrayV2_1"
input: "model_3/lstm_4/zeros"
input: "model_3/lstm_4/zeros_1"
input: "model_3/lstm_4/PartitionedCall/strided_slice"
input: "model_3/lstm_4/PartitionedCall/TensorArrayUnstack/TensorListFromTensor"
input: "Func/model_3/lstm_4/PartitionedCall/input/_3"
input: "Func/model_3/lstm_4/PartitionedCall/input/_4"
input: "Func/model_3/lstm_4/PartitionedCall/input/_5"
attr {
  key: "T"
  value {
    list {
      type: DT_INT32
      type: DT_INT32
      type: DT_INT32
      type: DT_VARIANT
      type: DT_FLOAT
      type: DT_FLOAT
      type: DT_INT32
      type: DT_VARIANT
      type: DT_FLOAT
      type: DT_FLOAT
      type: DT_FLOAT
    }
  }
}
attr {
  key: "_lower_using_switch_merge"
  value {
    b: false
  }
}
attr {
  key: "_num_original_outputs"
  value {
    i: 11
  }
}
attr {
  key: "_read_only_resource_inputs"
  value {
    list {
    }
  }
}
attr {
  key: "body"
  value {
    func {
      name: "while_body_149241"
    }
  }
}
attr {
  key: "cond"
  value {
    func {
      name: "while_cond_149240"
    }
  }
}
attr {
  key: "output_shapes"
  value {
    list {
      shape {
      }
      shape {
      }
      shape {
      }
      shape {
      }
      shape {
        dim {
          size: -1
        }
        dim {
          size: 128
        }
      }
      shape {
        dim {
          size: -1
        }
        dim {
          size: 128
        }
      }
      shape {
      }
      shape {
      }
      shape {
        dim {
          size: 1
        }
        dim {
          size: 512
        }
      }
      shape {
        dim {
          size: 128
        }
        dim {
          size: 512
        }
      }
      shape {
        dim {
          size: 512
        }
      }
    }
  }
}
attr {
  key: "parallel_iterations"
  value {
    i: 32
  }
}
, ex=Could not infer attribute `_read_only_resource_inputs` type from empty iterator
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-7-50 ef5b7ad3f4> in <cell line: 87>()
     85 
     86 # Преобразовать Keras-модель в ONNX формат
---> 87 onnx_model = tf2onnx.convert.from_keras(model)
     88 
     89 # Сохранить модель в формате ONNX

8 frames
/usr/local/lib/python3.10/dist-packages/onnx/helper.py in make_attribute(key, value, doc_string, attr_type)
    874         value = list(value)
    875         if len(value) == 0 and attr_type is None:
--> 876             raise ValueError(
    877                 f"Could not infer attribute `{key}` type from empty iterator"
    878             )

ValueError: Could not infer attribute `_read_only_resource_inputs` type from empty iterator