記事"第三世代ニューラルネットワーク：深層ネットワーク"についてのディスカッション - ページ 4 1234567891011...17 新しいコメント Yury Reshetov 2014.12.09 21:59 #31 vlad1949:...一匹狼（おそらく有能なプログラマー）の開発は、まだ実用化されていない。 それはそうだ。最初のバージョンはcode.google.comで公開されている。プロジェクト名はlibvmr。今のところJavaのみ。後で、mql5を含む他の言語にも移植するつもりだ。vlad1949：...Reshetovのトピックについては、彼のブログか別スレッドで議論しましょう（彼がそれを企画すればの話ですが）。 記事のトピックである「ディープ・ニューラル・ネットワーク」についての意見や考察はここで歓迎します。 ディープラーニングについても可能です。例えば、画像の分類を改善するために、不変性を使って オートエンコーダを訓練する。例えば、2つのクラスの画像を区別する必要がある。金融商品のチャートと、その指標の画像とする。最初のクラスは、相場が上向きに成長する前のチャートである。もう1つのクラスは、相場が下向きに成長する前のチャートである。この場合、オートエンコーダを学習する際、1つ目のクラスには不変の画像を、2つ目のクラスには逆、すなわち負の画像を入力に与える必要がある。また、逆伝播アルゴリズムで学習済みのオートエンコーダをカスケードに組み、VMRで学習済みのニューロンを出力に配置することもできる。 TheXpert 2014.12.09 22:42 #32 Reshetov:もしあなたの言う通りなら、チューリング・テストに合格したあなたの「深い」知性は、すでにインターネットを奴隷化し、世界を支配しているはずだ。正直なところ、あなたのあまりのご意見番ぶりにはうんざりしている。 Yury Reshetov 2014.12.10 17:31 #33 TheXpert:あなたの言う通りなら、チューリング・テストに合格したあなたの「深い」知性は、すでにインターネットを奴隷化し、世界を支配しているはずだ。アンドリューカ、あまり騒がないように。さもないと、命令者たちがチューリングのことを耳にし、目を覚まし、そして世界支配の掌握は終焉を迎えるだろう。TheXpert: 正直なところ、私はあなたの意見にうんざりしています。鎮静剤を飲めば大丈夫。知的奴隷化の後、大声で暴れなければ、宇宙の10分の1が手に入る。 Vladimir Perervenko 2014.12.26 13:12 #34 この記事を書いた後、すでに 「ディープラーニング」分野を リードする 研究者の一人である ヨシュア・ベンジオらによる本の草稿を目にした 。http://www.iro.umontreal.ca/~bengioy/dlbook/ 数学的な記述が多いが、同時に、このトピックに関する明確な定義と基本的な概念が、基本的なものから高度なものまで示されている。 以下、自由訳の一部を抜粋する。 セクション10.「教師なし学習と転移学習」著者らは 、教師による 学習が 最近のディープラーニングの産業的成功の 主力であった一方で 、将来の進歩の重要な要素は、 教師なしで学習する 表現 （画像？ ）かも しれないと考えて いる。）この考え方は、（画像から物体を分類する際や、音声から音素を分類する際などに）他の表現よりも有用な表現があるかもしれないというものだ。 そこで論じられているように、これには、体系的な方法で最良のものを選択するために、表現を学習することが含まれる。 生データを表す特徴を最適化することによって その表現и表現. この 論文では、 教師なし学習のための基本的な構成要素（ AutoEncoderと RBM ）と、それらを組み合わせて深い表現（Stacked AutoEncoderとStacked RBM ）を形成するための非常に成功したレシピをレビューし 、貪欲な 層ごとの教師なし事前学習 。 その後、 教師を使ってディープネットワークを訓練 （ファインチューニング）する際、 入力で表現される ターゲットを 予測 するというタスクに最も適した 表現を選択することを目標に、表現を訓練する。 1つのタスクの代わりに、 共通の表現 または その一部を 持つ可能性のある多くのタスクがあるとしたらどう だろうか？(これがマルチタスク学習である。） 「知識移転学習と領域適応 知識 転移と領域適応とは、ある 条件 （すなわちP1分布 ）で学習さ れたものが 、他の条件（例えばP2分布）で汎化を改善するために使われる 状況を指す。 知識移転の場合、タスクは 異なるが、 P1分布を説明する要因の 多くは、P2を学習するためにとらえなければならない変化に関連していると考える。これは一般的に教師あり 学習の 文脈で理解される、 入力ы は同じ 同じы入力は同じだが、ゴールは異なるかもしれない性質性質が異なるかもしれない、 例えば、1 番目と2番目の ケースで異なる 視覚カテゴリーを 学習する。最初の サンプル （P1から取得）に 多くのデータがある場合 、P2からの例を処理す るときに、 迅速な一般化に役立つ表現を学習するのに役立つかもしれない 。 例えば、多くの視覚 カテゴリーには、共通の 低レベルの概念（ エッジや視覚的形状）、 幾何学的変化の 影響 、照明の変化などがある。 一般に、知識伝達、 マルチタスク学習 、領域 適応は、 異なる 設定やタスクに有用な特徴がある場合、 すなわち共通の基礎的要因がある場合、 学習表現によって 達成することができる。 ドメイン適応の場合、解決すべきタスクは同じだが、入力セットは異なると考える。 例えば 、インターネット 上のテキストコメントに関連するセンチメント（肯定的 または否定的）を予測する場合、最初のサンプルは 本、ビデオ、音楽に関する消費者のコメントを参照し、2番目の セットは テレビやその他の製品を 参照するかもしれない。 マルチタスク学習は一般的に教師との学習の文脈で考えられているが、より一般的な転移学習の概念は教師なし学習や強化学習にも当てはまる。 転移学習の極端な形態は、1ショット学習、あるいはゼロショット学習であり 、そこでは新しいタスクの例が1つ 、あるいは全く与えられない。 簡単に言うと、2つの重要な結論がある。 事前学習を伴うニューラルネットワークの深層学習では、個々の予測変数の重要性を語ることは無意味である。重要なのは集合の内部構造である。これによって、教師なしで学習する段階では 深い表現（イメージ）を抽出することが可能になり 、教師ありで学習する段階では、それらが手元のタスクにどの程度対応しているかを判断することが可能になる 。 事前トレーニングの良い副次的効果は、 第2段階で 教えたタスクではなく、別のタスクを 解く ためのニューラルネットワークに 適した表現が抽出されることで ある 。 記事を 注意深く 読むと、 ジグザグ信号を提示して入力を分類するようにニューラルネットワークを訓練したことに気づくだろう。その結果、 精度の 結果は印象的なものではない。しかし、 学習させた ニューラルネットワークの 予測信号を用いて得られたトータルバランス（ ）の 結果は、 ジグザグ信号を用いて得られた 結果よりも高い ！予測の効率を評価するために、係数Kを導入した。これは、チャートの1本のバーあたりの小さなポイントの平均増加率である。 例えば、 ZZの 場合、 これは17に等しいが、ネットワーク予測の場合、計器によって25から35になる （TF M30の場合）。 これは知識の 移転（ 移転学習）であり、1つのデータ・セットで学習すると、複数の 異なる タスクに対する 解決策が得られる。 これは非常に有望で発展途上のトピックである。 この記事で始めた作業の締めくくりとして、次回は 進化的（遺伝的）アルゴリズムを使ってDN SAEの パラメーターを最適化する例を紹介する。 DN SRBMの 使用は考えていない 。 私の実践では安定した結果が得られていないからだ。 成功 ディープニューラルネットワーク(その4)ニューラルネットワークモデルの作成、訓練、テスト 第三世代ニューラルネットワーク：深層ネットワーク 資金管理について Alexey Subbotin 2014.12.31 17:17 #35 vlad1949:この記事を書いた後、私はすでに 「ディープラーニング」分野を リードする 研究者の一人で あるヨシュア・ベンジオらによる本の草稿を目にした 。http://www.iro.umontreal.ca/~bengioy/dlbook/数学が多いが、同時にこのトピックに関する明確な定義と基本的な概念が、基本的なものから高度なものまで示されている。正直なところ、この記事を読んだときは、少し奇妙で曇った印象を受けたが、「積み上げ式」のアプローチだと書き流した。それからリンク先の本を読んだ。残念なことに、この著作で紹介されていることはほとんどすべて、長い間咀嚼されたアイデアであり、誰かが新しい何か、驚くべきものとして提示したものである。そして今、私の中の数学者と研究エンジニアが言いたいことはただひとつ、このテーマは国家予算から金を搾り取るために作られている、ということだ。ちなみに、この本には数学（教科書からコピーしたものではなく、独自のものもある）は出てこない。数式だけの呪文もあるが......。少なくとも、この方向に何か本当に新しいアイデアが登場するまでは、一般的に科学的な展望は見えない。しかし、そのためにはまず理論的な 研究（誰もやっていない）が必要であり、実践的なマジックが必要なわけではない。今のところ、選手たちは自分たちが何をしたいのかよくわかっていないようだ。 Yury Reshetov 2014.12.31 17:29 #36 alsu: しかし、これにはまず理論的な 研究（誰もやっていない）が必要であり、実践的なマジックが必要なわけではない。今のところ、どうやら彼ら自身、自分たちが何を望んでいるのかよくわかっていないようだ。では、CSの応用的な使用を禁止し、理論オタクに罪を着せたいのか？オタクがいなくとも、オートエンコーダーやMBを通して最もクリアな信号だけが漏れ、それ以外はすべて汚されて見えなくなることは明らかだ。 Alexey Subbotin 2014.12.31 17:44 #37 Reshetov:では、CSの応募を禁止して理論オタクを敵に回したいのか？ いや、もちろん違う。私は、応用であれ理論であれ、科学をシャーマニズムに置き換えようとする試みと全力で戦っているだけだ。そして、これこそがNSの分野で起こっていることであり、実際、NSはすでに10年間、応用と理論の両方から抜け出せずにいる。 Yury Reshetov 2014.12.31 18:05 #38 alsu: いや、もちろんそんなことはない。私は、応用的であれ理論的であれ、科学をシャーマニズムに置き換えようとする試みと全力で戦っているだけだ。そして、それこそがNSの分野で起こっていることであり、実際、NSはここ10年ほど応用と理論の両方から抜け出せずにいる。科学にとって何が問題なのか？誰が機械学習の理論化を禁じているのか？というのも、応用分野のサンプルを集めたオープン・リポジトリがあり、RやWekaのような既製の研究パッケージがあるので、誰でも簡単に理論的仮説を反証することができるからだ。機械学習が、素朴な理論しかなかった短いズボンから成長したのは、問題がなかったからであり、アルゴリズムの汎化可能性の分野での実用的な結果は、台座の上にはなかった。計算資源が 一般に利用できるようになるとすぐに、応用科学者が理論オタクをこの分野から押し出した。 Alexey Subbotin 2014.12.31 18:30 #39 Reshetov:科学にとって何が問題なのか？誰が機械学習の理論化を禁じているのか？なぜなら、応用分野からのサンプルを集めたオープンなリポジトリがあり、RやWekaのような既製の研究パッケージがあり、その助けを借りれば、誰でもどんな理論的仮説でも簡単に反証できるからである。機械学習が、素朴な理論しかなかった短いズボンから成長したのは、問題がなかったからであり、アルゴリズムの汎化可能性の分野での実用的な結果は、台座の上にはなかった。計算資源が 一般に利用可能になるとすぐに、応用科学者は理論オタクをこの分野から押し出した。私たちの意見の相違はどこにあるのだろうか？応用科学者がオタクを追い出すことは、当然良いことである。また、計算資源が 利用可能になったことで、以前は理論的に考えなければならなかった多くの問題が解けるようになった。しかし、だからといって計算資源がすべての問題を解決するわけではない。広範な方法は永遠ではなく、その可能性はすでに終わりを迎えつつある。だから遅かれ早かれ、私たちは植物学に戻らなければならないのだ。 Vladimir Perervenko 2015.01.01 08:42 #40 新年明けましておめでとう！幸運を祈ります。 1234567891011...17 新しいコメント 取引の機会を逃しています。 無料取引アプリ 8千を超えるシグナルをコピー 金融ニュースで金融マーケットを探索 新規登録 ログイン スペースを含まないラテン文字 このメールにパスワードが送信されます エラーが発生しました Googleでログイン WebサイトポリシーおよびMQL5.COM利用規約に同意します。 新規登録 MQL5.com WebサイトへのログインにCookieの使用を許可します。 ログインするには、ブラウザで必要な設定を有効にしてください。 ログイン/パスワードをお忘れですか？ Googleでログイン
vlad1949:
...一匹狼（おそらく有能なプログラマー）の開発は、まだ実用化されていない。
それはそうだ。最初のバージョンはcode.google.comで公開されている。プロジェクト名はlibvmr。
今のところJavaのみ。後で、mql5を含む他の言語にも移植するつもりだ。
vlad1949：
...
Reshetovのトピックについては、彼のブログか別スレッドで議論しましょう（彼がそれを企画すればの話ですが）。
記事のトピックである「ディープ・ニューラル・ネットワーク」についての意見や考察はここで歓迎します。
ディープラーニングについても可能です。
例えば、画像の分類を改善するために、不変性を使って オートエンコーダを訓練する。例えば、2つのクラスの画像を区別する必要がある。金融商品のチャートと、その指標の画像とする。最初のクラスは、相場が上向きに成長する前のチャートである。もう1つのクラスは、相場が下向きに成長する前のチャートである。この場合、オートエンコーダを学習する際、1つ目のクラスには不変の画像を、2つ目のクラスには逆、すなわち負の画像を入力に与える必要がある。
また、逆伝播アルゴリズムで学習済みのオートエンコーダをカスケードに組み、VMRで学習済みのニューロンを出力に配置することもできる。
Reshetov:
もしあなたの言う通りなら、チューリング・テストに合格したあなたの「深い」知性は、すでにインターネットを奴隷化し、世界を支配しているはずだ。
正直なところ、あなたのあまりのご意見番ぶりにはうんざりしている。
あなたの言う通りなら、チューリング・テストに合格したあなたの「深い」知性は、すでにインターネットを奴隷化し、世界を支配しているはずだ。
アンドリューカ、あまり騒がないように。さもないと、命令者たちがチューリングのことを耳にし、目を覚まし、そして世界支配の掌握は終焉を迎えるだろう。
正直なところ、私はあなたの意見にうんざりしています。
鎮静剤を飲めば大丈夫。知的奴隷化の後、大声で暴れなければ、宇宙の10分の1が手に入る。
この記事を書いた後、すでに 「ディープラーニング」分野を リードする 研究者の一人である ヨシュア・ベンジオらによる本の草稿を目にした 。http://www.iro.umontreal.ca/~bengioy/dlbook/
数学的な記述が多いが、同時に、このトピックに関する明確な定義と基本的な概念が、基本的なものから高度なものまで示されている。
以下、自由訳の一部を抜粋する。
セクション10.「教師なし学習と転移学習」著者らは 、教師による 学習が 最近のディープラーニングの産業的成功の 主力であった一方で 、将来の進歩の重要な要素は、 教師なしで学習する 表現 （画像？ ）かも しれないと考えて いる。）この考え方は、（画像から物体を分類する際や、音声から音素を分類する際などに）他の表現よりも有用な表現があるかもしれないというものだ。 そこで論じられているように、これには、体系的な方法で最良のものを選択するために、表現を学習することが含まれる。 生データを表す特徴を最適化することによって その表現и表現.
この 論文では、 教師なし学習のための基本的な構成要素（ AutoEncoderと RBM ）と、それらを組み合わせて深い表現（Stacked AutoEncoderとStacked RBM ）を形成するための非常に成功したレシピをレビューし 、貪欲な 層ごとの教師なし事前学習 。
その後、 教師を使ってディープネットワークを訓練 （ファインチューニング）する際、 入力で表現される ターゲットを 予測 するというタスクに最も適した 表現を選択することを目標に、表現を訓練する。
1つのタスクの代わりに、 共通の表現 または その一部を 持つ可能性のある多くのタスクがあるとしたらどう だろうか？(これがマルチタスク学習である。）
「知識移転学習と領域適応
知識 転移と領域適応とは、ある 条件 （すなわちP1分布 ）で学習さ れたものが 、他の条件（例えばP2分布）で汎化を改善するために使われる 状況を指す。
知識移転の場合、タスクは 異なるが、
P1分布を説明する要因の 多くは、P2を学習するためにとらえなければならない変化に関連していると考える。これは一般的に教師あり 学習の 文脈で理解される、 入力ы は同じ 同じы入力は同じだが、ゴールは異なるかもしれない性質性質が異なるかもしれない、 例えば、1 番目と2番目の ケースで異なる 視覚カテゴリーを 学習する。最初の サンプル （P1から取得）に 多くのデータがある場合 、P2からの例を処理す るときに、 迅速な一般化に役立つ表現を学習するのに役立つかもしれない 。
例えば、多くの視覚 カテゴリーには、共通の 低レベルの概念（ エッジや視覚的形状）、 幾何学的変化の 影響 、照明の変化などがある。
一般に、知識伝達、 マルチタスク学習 、領域 適応は、 異なる 設定やタスクに有用な特徴がある場合、 すなわち共通の基礎的要因がある場合、 学習表現によって 達成することができる。
ドメイン適応の場合、解決すべきタスクは同じだが、入力セットは異なると考える。 例えば 、インターネット 上のテキストコメントに関連するセンチメント（肯定的 または否定的）を予測する場合、最初のサンプルは 本、ビデオ、音楽に関する消費者のコメントを参照し、2番目の セットは テレビやその他の製品を 参照するかもしれない。
マルチタスク学習は一般的に教師との学習の文脈で考えられているが、より一般的な転移学習の概念は教師なし学習や強化学習にも当てはまる。
転移学習の極端な形態は、1ショット学習、あるいはゼロショット学習であり 、そこでは新しいタスクの例が1つ 、あるいは全く与えられない。
簡単に言うと、2つの重要な結論がある。
事前学習を伴うニューラルネットワークの深層学習では、個々の予測変数の重要性を語ることは無意味である。重要なのは集合の内部構造である。これによって、教師なしで学習する段階では 深い表現（イメージ）を抽出することが可能になり 、教師ありで学習する段階では、それらが手元のタスクにどの程度対応しているかを判断することが可能になる 。
事前トレーニングの良い副次的効果は、 第2段階で 教えたタスクではなく、別のタスクを 解く ためのニューラルネットワークに 適した表現が抽出されることで ある 。
記事を 注意深く 読むと、 ジグザグ信号を提示して入力を分類するようにニューラルネットワークを訓練したことに気づくだろう。その結果、 精度の 結果は印象的なものではない。しかし、 学習させた ニューラルネットワークの 予測信号を用いて得られたトータルバランス（ ）の 結果は、 ジグザグ信号を用いて得られた 結果よりも高い ！予測の効率を評価するために、係数Kを導入した。これは、チャートの1本のバーあたりの小さなポイントの平均増加率である。 例えば、 ZZの 場合、 これは17に等しいが、ネットワーク予測の場合、計器によって25から35になる （TF M30の場合）。
これは知識の 移転（ 移転学習）であり、1つのデータ・セットで学習すると、複数の 異なる タスクに対する 解決策が得られる。
これは非常に有望で発展途上のトピックである。
この記事で始めた作業の締めくくりとして、次回は 進化的（遺伝的）アルゴリズムを使ってDN SAEの パラメーターを最適化する例を紹介する。
DN SRBMの 使用は考えていない 。 私の実践では安定した結果が得られていないからだ。
成功
この記事を書いた後、私はすでに 「ディープラーニング」分野を リードする 研究者の一人で あるヨシュア・ベンジオらによる本の草稿を目にした 。http://www.iro.umontreal.ca/~bengioy/dlbook/
数学が多いが、同時にこのトピックに関する明確な定義と基本的な概念が、基本的なものから高度なものまで示されている。
正直なところ、この記事を読んだときは、少し奇妙で曇った印象を受けたが、「積み上げ式」のアプローチだと書き流した。それからリンク先の本を読んだ。残念なことに、この著作で紹介されていることはほとんどすべて、長い間咀嚼されたアイデアであり、誰かが新しい何か、驚くべきものとして提示したものである。そして今、私の中の数学者と研究エンジニアが言いたいことはただひとつ、このテーマは国家予算から金を搾り取るために作られている、ということだ。
ちなみに、この本には数学（教科書からコピーしたものではなく、独自のものもある）は出てこない。数式だけの呪文もあるが......。少なくとも、この方向に何か本当に新しいアイデアが登場するまでは、一般的に科学的な展望は見えない。しかし、そのためにはまず理論的な 研究（誰もやっていない）が必要であり、実践的なマジックが必要なわけではない。今のところ、選手たちは自分たちが何をしたいのかよくわかっていないようだ。
では、CSの応用的な使用を禁止し、理論オタクに罪を着せたいのか？
オタクがいなくとも、オートエンコーダーやMBを通して最もクリアな信号だけが漏れ、それ以外はすべて汚されて見えなくなることは明らかだ。
では、CSの応募を禁止して理論オタクを敵に回したいのか？
いや、もちろんそんなことはない。私は、応用的であれ理論的であれ、科学をシャーマニズムに置き換えようとする試みと全力で戦っているだけだ。そして、それこそがNSの分野で起こっていることであり、実際、NSはここ10年ほど応用と理論の両方から抜け出せずにいる。
科学にとって何が問題なのか？誰が機械学習の理論化を禁じているのか？
というのも、応用分野のサンプルを集めたオープン・リポジトリがあり、RやWekaのような既製の研究パッケージがあるので、誰でも簡単に理論的仮説を反証することができるからだ。
機械学習が、素朴な理論しかなかった短いズボンから成長したのは、問題がなかったからであり、アルゴリズムの汎化可能性の分野での実用的な結果は、台座の上にはなかった。計算資源が 一般に利用できるようになるとすぐに、応用科学者が理論オタクをこの分野から押し出した。
科学にとって何が問題なのか？誰が機械学習の理論化を禁じているのか？
なぜなら、応用分野からのサンプルを集めたオープンなリポジトリがあり、RやWekaのような既製の研究パッケージがあり、その助けを借りれば、誰でもどんな理論的仮説でも簡単に反証できるからである。
機械学習が、素朴な理論しかなかった短いズボンから成長したのは、問題がなかったからであり、アルゴリズムの汎化可能性の分野での実用的な結果は、台座の上にはなかった。計算資源が 一般に利用可能になるとすぐに、応用科学者は理論オタクをこの分野から押し出した。
私たちの意見の相違はどこにあるのだろうか？応用科学者がオタクを追い出すことは、当然良いことである。また、計算資源が 利用可能になったことで、以前は理論的に考えなければならなかった多くの問題が解けるようになった。しかし、だからといって計算資源がすべての問題を解決するわけではない。広範な方法は永遠ではなく、その可能性はすでに終わりを迎えつつある。だから遅かれ早かれ、私たちは植物学に戻らなければならないのだ。