取引のためのONNXの学習 - ページ 15

[MetaQuotes]

ONNX モデルの実用的なトレーニング後の量子化

ONNX モデルの実用的なトレーニング後の量子化

このビデオでは、量子化を実装して TensorFlow モデルのサイズを ONNX 量子化モデルに縮小する方法について説明します。 ONNX モデルはサイズが大幅に小さく、CPU 上でより高速に実行できます。著者は、動的量子化を実装する方法と CPU 速度をチェックする方法に関するコード スニペットと手順を提供します。

このビデオでは、精度の低下につながる可能性があることを認めながら、機械学習モデルを量子化して高速化および軽量化するプロセスを示しています。 ONNX モデルと TensorFlow モデルを量子化モデルと比較すると、後者の方が高速で軽量であることがわかります。ただし、量子化されたモデルは、他のモデルほど GPU の使用による恩恵を受けません。次に、量子化されたモデルの精度が評価され、わずかな低下しかないことがわかります。 ONNX モデルを視覚化するプロセスについても説明し、Loot Rodas Neutron アプリを使用してデモを行います。全体的なプロセスにより、モデル サイズが 1 ギガバイトから 83 メガバイトに減少し、精度の低下は最小限に抑えられます。

[MetaQuotes]

QONNX: ONNX で任意精度の量子化された NN を表現するための提案

QONNX: ONNX で任意精度の量子化された NN を表現するための提案

講演者は、ワイヤレス通信でのアプリケーションの例を使用して、低精度の量子化について説明します。彼らは、ONNX で任意精度の量子化ニューラル ネットワークを表現するための方言である QONNX を提案しています。 QONNX は、量子化表現を簡素化し、より幅広いシナリオ セットに拡張し、さまざまなタイプの丸めとバイナリ量子化のオプションを提供します。これは FPGA への展開に使用されており、Brevitas Python 量子化ライブラリに統合されており、NQCDQ は次のリリースに統合される予定です。

• 00:00:00 このセクションでは、スピーカーは、8 ビット未満の量子化を意味する低精度量子化の概念について話します。スピーカーは、ワイヤレス通信の変調分類タスクで低精度の量子化がどのように使用されたかの例を提供し、量子化を意識したトレーニングのおかげで、待ち時間を短縮して高スループットを達成しました。講演者は一様量子化の基礎を説明し、量子化されたノードと逆量子化されたノードの間の整数境界を超える追加機能としてクリッピングを使用して、低精度ニューラル ネットワークの ONNX の表現力を拡張することを提案します。ただし、スピーカーは、このアプローチには、8 ビット出力の量子化された線形演算子に限定されることや、さまざまな種類の丸めを採用できないことなど、制限があることを認めています。
  
  
• 00:05:00 このセクションでは、スピーカーは QONNX を紹介します。QONNX は、ONNX で任意精度の量子化ニューラル ネットワークを表す方言です。 QONNX は、疑似量子化の一連の操作を 1 つのノードにマージすることで量子化表現を簡素化すると同時に、それをより幅広いシナリオ セットに拡張します。さまざまなタイプの丸め、ブロードキャスト ビット入力、およびバイナリ量子化のオプションを提供します。この形式は、高速機械学習の取り組みの一環として FPGA への展開に活用されており、ONNX ランタイムと事前にトレーニングされた低精度モデルを統合する QONNX を処理するためのさまざまなツールが利用可能です。 QONNX は既に Brevitas Python 量子化ライブラリに統合されており、NQCDQ は次のリリースに統合される予定です。

[MetaQuotes]

GRCon20 - ONNX を使用した GNU Radio での深層学習推論

GRCon20 - ONNX を使用した GNU Radio での深層学習推論

このビデオでは、ONNX をオープン フォーマットとして使用して、ディープ ラーニングを無線周波数領域の柔軟なオープンソース ソリューションとして統合する方法について説明しています。スピーカーは、GNU Radio と ONNX の両方に Python インターフェイスを使用する新しいモジュール GR DNN DN4 を紹介し、GNU Radio によって生成されたシミュレートされたデータでトレーニングされた深い畳み込みニューラル ネットワーク モデルを使用した自動変調分類の例でその機能を示します。また、BGG16 モデルを使用して SDR データの分類にディープ ラーニングを使用する場合の要件と課題についても説明し、GPU などのハードウェア アクセラレーションを使用して推論を改善し、リアルタイムの結果を達成することを提案しています。このプロジェクトはオープンソースであり、コラボレーションが奨励されています。

• 00:00:00 ビデオのこのセクションでは、Oscar Rodriguez が ONNX を使用した GNU Radio での深層学習推論に関する彼の研究について説明しています。彼らのプロジェクトの主な目標は、ディープラーニングを柔軟でオープンソースのソリューションとして無線周波数領域に統合することでした。彼らが ONNX を選択したのは、それが異なるフレームワーク間での機械学習の相互運用性を可能にし、互換性のないディープ ラーニング フレームワークの問題を解決するオープン フォーマットであるためです。ただし、モデルを ONNX に適応させるにはコストがかかり、特定の操作で運用上の可用性の問題が発生する可能性がありますが、ONNX は Microsoft によって積極的に開発およびサポートされているという事実によって軽減されます。最終的に、ONNX は、ユーザーのモデルとさまざまな深層学習フレームワークの間に抽象化レイヤーを提供します。
  
  
• 00:05:00 セクションでは、ONNX の使用について説明します。これにより、TensorFlow や PyTorch などのさまざまなフレームワークで機械学習モデルを設計およびトレーニングしてから、それらを ONNX ブロックで使用するための一般的な形式に変換できます。 ONNX は、ディープ ラーニング モデルで一般的に使用される一連の基本操作を定義し、そのランタイムは、さまざまなソフトウェアおよびハードウェア アクセラレーションのインターフェイスとサポートを提供します。ランタイムはまた、使用可能なアクセラレータに基づいてさまざまな実行プロバイダーに操作を割り当てるモデルのグラフ表現を作成します。
  
  
• 00:10:00 このセクションでは、スピーカーは ONNX の実行プロバイダーの拡張性について説明します。これにより、すべての ONNX 操作がそのプラットフォームに実装されている限り、新しいハードウェア プラットフォームのサポートが可能になります。次に、GNU Radio と ONNX の両方に Python インターフェイスを使用する新しいモジュール GR DNN DN4 を紹介します。同期モジュールは、入力をモデルの予想される形式に適合させ、変換されたデータでモデルを適合させてから、出力を 1 次元形式に変換します。このモジュールでは、ONNX でサポートされているさまざまな実行プロバイダーを選択することもできます。スピーカーは、GNU Radio によって生成されたシミュレートされたデータでトレーニングされた深い畳み込みニューラル ネットワーク モデルを使用した自動変調分類の例を使用して、GR DNN DN4 の機能をデモンストレーションします。
  
  
• 00:15:00 このセクションでは、講演者は BGG16 モデルを使用した SDR データの分類に深層学習を使用することについて説明します。彼らは、モデルの入力には 128 個の IQ 値のベクトルが必要であり、これを SDR デバイスの出力に適合させる必要があると説明しています。彼らはまた、ディープ ラーニングの推論は計算集約的であり、パフォーマンスはモデルの複雑さに依存することにも注意しています。スピーカーは、GPU などのハードウェア アクセラレーションを使用すると、推論が改善され、リアルタイムの結果が得られることを示唆して締めくくります。
  
  
• 00:20:00 このセクションでは、講演者は、ディープ ラーニング モデル表現の標準形式を使用し、さまざまな高速化方法をサポートする、ディープ ラーニング推論とソフトウェア無線 (SDR) を統合できる新しい無線実装について説明します。このスピーカーは、モジュールを自動変調分類に使用し、ハードウェア アクセラレーションを使用してリアルタイムの推論を実現する方法を示しています。講演者は、さまざまな種類の深層学習モデルに対する柔軟性を高めたり、ブロック内に前処理機能を含めたりするなど、モジュールの今後の改善についても説明します。このプロジェクトはオープンソースであり、コラボレーションが奨励されています。