I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. Self-attention The fundamental operation of any transformer architecture is the self-attention...
Оказывается пьяным меня смотреть ещё интересней. ВНИМАНИЕ в видео используется не нормативная лексика так что уберите детей от экрана телевизора. Ну и говорим собственно о рынке
トランスフォーマー学習のボトルネックは、自己認識のスカラー積の行列である。配列長 t の場合、 t の2乗 要素を含む密な行列である。標準的な32ビット精度で、 t= 1000 このような行列の16個のバッチは、約250MBのメモリを必要とします。1回のセルフイメージング操作で少なくとも4枚（ソフトマックスの前後とそのグラデーション）が必要なので、標準的なGPUでは最大12枚が限界で、12GBを割ることになります。
記憶はどのように組織化されるのか？
場所による
もし理解できたなら、解説を待っています :)
http://peterbloem.nl/blog/transformers
皆さん、こんにちは！ビデオはフォーラムのスレッドに直接投稿せず、私のブログに投稿しました。本当に市場に興味がある人のためのWARNING非正規言語...
https://www.mql5.com/ru/blogs/post/739164
皆さん、こんにちは！ビデオはフォーラムのスレッドに直接投稿せず、私のブログに投稿しました。本当に市場に興味がある人のためのWARNING非正規言語...
https://www.mql5.com/ru/blogs/post/739164
今まで森を彷徨っただけで、HH-kiは使ったことがないんです......。
私もそうですが...。そこで、少なくとも画像のレベルで仕組みがわかるように、ブロック図の話をしているのです
ええ、私もです...。そのため、少なくとも画像レベルで仕組みを理解するために、ブロック図の話をしているのです
コホーネン層が何なのか、2日かけて調べました
であり、単なる原始的なオートエンコーダーであることが判明しました。
ウラジミールが記事にしたものです。場所による
もし理解できたら、説明するのが楽しみです :)
http://peterbloem.nl/blog/transformers
創造できないものは理解できない、それがファインマンの言葉だ。
足し算より掛け算の方が、符号が考慮される。一般に、引数と結果というのは、何かというと、一つの会計関数です。
クエリ、キー、バリューがどのように構成されているのか、よくわからない。
主な違いは、擬似並列処理と学習済みデータへのアクセス、そして自己認識と呼ばれる入出力結果ベクトルのスカラー積である。そして、このスカラー積の行列を学習で使用する。しかも、ウエイトではありません。
記事の中にロングメモリーに関する情報は見つかりませんでした。
一般に、結果を補正する追加の行列が作成される。
正しく理解したふりはしませんが ))))
創造できないものは理解できない、それがファインマンの言葉です。
足し算より掛け算の方が、符号が考慮される。一般に、引数と結果というのは、何かというと、一つの会計関数です。
クエリ、キー、バリューがどのように構成されているのか、よくわからない。
主な違いは、擬似並列処理と学習済みデータへのアクセス、そして自己認識と呼ばれる入出力結果ベクトルのスカラー積である。そして、このスカラー積の行列を学習で使用する。しかも、ウエイトではありません。
記事の中にロングメモリーに関する情報は見つかりませんでした。
一般に、結果を補正する追加の行列が作成される。
正しく理解しているふりはしませんが))))
これは別のアルゴリズムで、lstmのようなロングメモリとショートメモリの定義はありません。
長短は、LSTMセルがどのように機能するかを見るためだけです。
コホーネンレイヤー（VQ）とは何か、2日かけて考えてみました
で、ただの原始的なオートエンコーダーであることがわかりました。
ウラジミールが記事にしたものです。ウラジミール氏はVQについて具体的に書いているのか、それともただ？
メモリはどうなっているのでしょうか？固定されているのか、それとも（インジケーターのように）ウィンドウで動くのか、固定されているのか、それとも再トレーニングが必要なのか？
足場があれば、同じことができるのでしょうか？
100万個の質問があります)))
これは別のアルゴリズムで、lstmのようなロングメモリとショートメモリの定義はない、と思います。
長短は、LSTMセルがどのように機能するかを見るためだけです。
ああ、なるほど、そういう時代なんだなあと認識しました。一般に、ネットワークアーキテクチャを拡張すると、ある限界まで性能が向上するだけである。ここでは、様々なロジックの組み合わせによってネットワークを複雑化し、それをスケーリングすることを理解しています))。そして、その結果
トランスフォーマー学習のボトルネックは、自己認識のスカラー積の行列である。配列長 t の場合、 t の2乗 要素を含む密な行列である。標準的な32ビット精度で、 t= 1000 このような行列の16個のバッチは、約250MBのメモリを必要とします。1回のセルフイメージング操作で少なくとも4枚（ソフトマックスの前後とそのグラデーション）が必要なので、標準的なGPUでは最大12枚が限界で、12GBを割ることになります。
そのためには、いろいろなことを調べたり、考えたりしなければなりません。
脳のビタミンを買わなければならないかもしれない、飲み物を減らさなければならないかもしれない)
まだ分かっていないんです)でも、見た目ほど難しくはないんですよ。
そこで、またいつものフローチャートに戻りますが、まずはイメージレベルで理解できるように作り込まないと......。
のように-。
まず分類器（あれこれやってくれます。）
そして、分類器を 出力につなげます（これとこれを行う）。
とか、「こんなこともできるんだ」とか、「こんなことも できるんだ」とか。
出力が再びキャスタライザーに 接続される
など...
用語も知らないような複雑なニュースをそのまま読んだら、何が出てくるのか？
特にブロックスキームのレベルでは、私が指摘したように、アルゴリズムの基本原理を理解する必要があります。そうすると、何が何なのか、何が何なのかがわかってくる。それがわかると、何をどう改善すればいいのかがわかるようになる。