取引のためのONNXの学習 - ページ 3

 

Netron は、ニューラル ネットワーク、ディープ ラーニング、および機械学習モデルを表示するためのツールです。





 

Netron を簡単に調べる



Netron を簡単に調べる

ビデオでは、プレゼンターが、 機械学習モデルを表示および分析するためのツールである Netron の概要を説明します。 Netron はさまざまな形式をサポートしており、複数のプラットフォームにインストールできます。プレゼンターは、ツールの機能と制限を強調しながら、Netron を起動していくつかのサンプル モデルをナビゲートする方法を実演します。 Netron は、より単純なネットワーク アーキテクチャを調査するのに役立ちますが、発表者は、より複雑なモデルを視覚化するための追加機能が役立つ可能性があることを示唆しています。全体として、プレゼンターは、機械学習モデルを調べて理解するための便利なツールとして Netron を推奨しています。

Quick look into Netron
Quick look into Netron
  • 2022.05.02
  • www.youtube.com
We look into the machine learning network viewer Netron.Github repository:https://github.com/lutzroeder/netronPlease follow me on Twitterhttps://twitter.com/...
 

Netron - ネットワーク可視化ツール |機械学習 |データマジック



Netron - ネットワーク可視化ツール |機械学習 |データマジック

Netron は、ユーザーがディープ ラーニング モデルの構造とパラメーターを視覚的に調べて調べるのに役立つ Python ライブラリです。これは、分析用のサンプル モデルを提供し、インストール プロセスが簡単なオープン ソース ライブラリです。ユーザーはわずか 2 行のコードで Netron をインストールし、それを使用してニューラル ネットワーク構造、活性化関数、プーリング層、畳み込み層、および特定の機械学習モデルの各層で渡されるすべての属性を視覚化できます。 Netron は、ユーザーがビジュアライゼーションを PNG ファイルとしてエクスポートし、さまざまな機能やオプションを探索できる使いやすいインターフェイスを提供します。

  • 00:00:00このセクションでは、深層学習モデルの内部構造を視覚化するのに役立つ Python ライブラリである Netron について学びます。 Netron を使用して、特定のモデル内で使用される特定のニューラル ネットワーク レイヤーとパラメーターを調べることができます。 Netron は、分析用のサンプル モデルを提供し、インストール プロセスが簡単なオープン ソース ライブラリです。インストールが完了すると、ユーザーは Netron ライブラリをインポートし、「開始」メソッドを使用して機械学習モデル ファイルを渡すことができます。次に、Netron はモデル構造の視覚的表現を作成し、ユーザーが各レイヤーとそのパラメーターを視覚的に探索できるようにします。

  • 00:05:00ビデオのこのセクションでは、プレゼンターが、機械学習モデル用のネットワーク視覚化ツールである Netron の使用方法を実演します。このツールは、ニューラル ネットワーク構造、活性化関数、プーリング層、畳み込み層、および特定の機械学習モデルの各層で渡されるすべての属性を視覚化できます。わずか 2 行のコードで、ツールをローカル マシンにインストールするか、netron.app Web サイトからオンラインでアクセスできます。ユーザーはビジュアライゼーションを PNG ファイルとしてエクスポートし、ツールのインターフェイスで利用可能なさまざまな機能やオプションを調べることができます。
Netron - Network Visualization Tool | Machine Learning | Data Magic
Netron - Network Visualization Tool | Machine Learning | Data Magic
  • 2021.08.18
  • www.youtube.com
Hello Friends, In this episode will talk about ,How to visualise a Deep Neural Network with the help of Netron API.Stay tuned and enjoy Machine Learning !!!C...
 

PyTorch、TensorFlow、Keras、ONNX、TensorRT、OpenVINO、AI モデル ファイル変換



【教育動画】PyTorch、TensorFlow、Keras、ONNX、TensorRT、OpenVINO、AIモデルファイル変換

ビデオのスピーカーは、PyTorch、TensorFlow、Keras、ONNX、TensorRT、OpenVINO などのさまざまな AI フレームワークの利点とトレードオフについて説明し、トレーニングとデータ変換の優先フレームワークとして PyTorch を推奨しています。講演者は、PyTorch モデルを ONNX に変換してから TensorRT または OpenVINO に変換するなど、変換プロセスを説明し、TensorFlow PB ファイルと Cafe を使用しないように注意します。講演者は、浮動小数点形式を適切に設定することの重要性についても説明し、ほとんどのモデルで FP 32 を使用することを推奨しています。このビデオでは、モデル変換の例を示しており、視聴者が公式 Web サイトにアクセスしてより多くの教育ビデオを入手するように促しています。

  • 00:00:00 このセクションでは、講演者は PyTorch、TensorFlow、Keras、Cafe などのさまざまな AI フレームワークについて説明し、PyTorch を使用してモデルを ONNX ファイルとして保存する自社の推奨方法を説明し、それを再確認しますONNX ランタイムを使用してデータ セットを使用します。テストに合格すると、ONNX モデルを TensorRT および OpenVINO 形式に変換します。講演者は、TensorFlow PB ファイルと Cafe を使用しないように警告し、代わりに元のデータで Python を使用し、トレーニングには PyTorch を使用することを推奨しています。最後に、講演者は、推論エンジンが浮動小数点を適切に設定する必要がある場合があると述べています。

  • 00:05:00 このセクションでは、スピーカーは、浮動小数点形式の選択がモデル変換の速度と精度にどのように影響するかについて説明します。彼は、FP 16 を使用すると速度を上げることができますが、精度が低下する可能性があり、FP 64 を使用すると速度は遅くなりますが精度が高くなると説明しています。講演者は、ほとんどのモデルに FP 32 を使用することを推奨し、医用画像解析用の FP 32 や FP 64 など、特定のタイプのデータ セットにさまざまな形式を使用する方法について説明します。彼はまた、モデルを FP 32 から FP 16 に変換すると精度が低下する可能性があると説明しています。これは、キャリブレーション、削除、または FP 16 での再トレーニングを使用してモデルの精度を向上させることで軽減できます。

  • 00:10:00 ビデオのこのセクションでは、スピーカーは、PyTorch、TensorFlow、Keras、ONNX、TensorRT、OpenVINO などのさまざまな AI フレームワークを使用する場合の速度、精度、データ情報のトレードオフについて説明します。講演者は、PyTorch を使用し、提供されたソリューションを使用してモデルを PyTorch から ONNX に変換することを推奨しています。次に、別の提供されたソリューションを使用してモデルを ONNX から TensorRT に変換する方法を説明します。講演者は、Jupiter Lab でコードを実行して変換プロセスを実演し、変換されたモデル ファイルを見つける方法を示します。

  • 00:15:00 ビデオのこのセクションでは、講演者は AI モデルを PyTorch から ONNX に変換し、次に TensorRT または OpenVINO に変換することの容易さについて説明し、それが単純なプロセスであることを強調しています。ただし、TensorFlow や Keras を使用している場合は、スピーカーは PyTorch を使用してデータ セットを再トレーニングすることを推奨しています。これは、モデルの変換が容易になるためです。講演者は、モデル ファイルのデータにはパラメーターのみが含まれているため、Keras を使用すると問題が発生する可能性があること、および H5 パラメーター ファイルをインポートする前にネットワーク アーキテクチャを構築する必要があることを警告しています。講演者は、このような問題に対する究極の解決策は Café であると示唆していますが、Café の開発者が Café 2 に移行し、それを維持する人がいないため、講演者は PyTorch をメインの AI フレームワークとして使用することを推奨しています。

  • 00:20:00 このセクションでは、スピーカーは PyTorch を使用する利点と、その高速性と改善されたアーキテクチャによる移行の容易さについて説明します。スピーカーは、v3 重量モデルを OpenVINO AIA モデルに変換するソリューションと、オブジェクト検出の最も強力なソリューションである Euro v4 を使用する例も提供します。この例を使用するには、変換に Euro v4 CPP 重みファイルと Euro v4 CFG ネットワーク構成ファイルの 2 つのファイルが必要です。変換後、結果を検証するための推論イメージで使用するハイタツ PTH ファイルが生成されます。講演者は、Python を使用して AI トレーニングを行い、次に ONNX に変換してから、TensorRT または OpenVINO に変換することを推奨しています。最後に、講演者は視聴者に公式ウェブサイトにアクセスしてより多くの教育ビデオを入手し、無料のメンバーになって毎週ビデオ リストを受け取るように勧めています。
[Educational Video] PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, AI Model File Conversion
[Educational Video] PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, AI Model File Conversion
  • 2020.06.05
  • www.youtube.com
PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, AI model file conversion, speed (FPS) and accuracy (FP64, FP32, FP16, INT8) trade-offs.Speaker: Prof. M...
 

Zetane で ONNX を使用して、試行錯誤を減らして機械学習プロジェクトをより迅速に完了する方法



Zetane で ONNX を使用して、試行錯誤を減らして機械学習プロジェクトをより迅速に完了する方法

Zetane Systems の共同設立者兼 CTO である Patrick Saitama 氏は、AI のブラック ボックスの問題に関連する問題に対処するために、彼の会社の新製品で ONNX を使用することの価値について説明しています。 Zetane のエンジンは、ONNX モデルの探索と検査を可能にし、モデルとデータの相互作用に関する洞察を提供し、その品質を向上させるためのより決定的な戦略に導きます。与えられた例は、Zetane のエンジンが、無線レイヤーを検査し、障害物ではないというラベルの付いたトンネルの画像を追加することで、自動列車モデルのデバッグにどのように役立ったかを示しています。 Zetane には、内部テンソルを動的に検査し、後で調査するためにモデルのスナップショットを取得するためのツールも含まれています。さらに、Zetane の新しいエンジンにより、YOLOv3 などのより大きなモデルのインストールが可能になります。

  • 00:00:00  Zetane Systems の共同設立者兼 CTO である Patrick Saitama が、ONNX からより大きな価値を引き出して、開発サイクル タイムを短縮し、当て推量を減らす方法について説明します。モントリオールに本拠を置く彼の会社、Zetane Systems は最近、業界にとらわれない新製品をリリースし、AI のブラック ボックスの問題に関連する問題のいくつかに対処することを目指しています。入力データを ONNX モデルに渡し、Zetane エンジンでモデルを投影することにより、デバッグのために、モデルのアーキテクチャと計算グラフ、および各オペレーター ノードに含まれるすべてのテンソルを含めて、モデルを探索および検査できます。モデルを最適化します。

  • 00:05:00 講演者は、Zetane で ONNX を使用することで、モデルとそのデータとの相互作用に対するより深い洞察が可能になり、モデルの品質を向上させるためのより決定的な戦略につながる方法について説明します。与えられた例は自律型列車モデルであり、維持されたエンジンの無線レイヤーを調べると、モデルがトンネルを障害物として検出していることが示され、障害物ではないというラベルの付いたトンネルの画像がさらに追加されました。 Zetane には、内部テンソルを動的に検査し、特定の時点でモデルのスナップショットを取得して、後で調査および改善するためのツールも含まれています。さらに、detain エンジンが最近リリースされ、YOLOv3 などのより大きなモデルのインストールが可能になりました。
How we use ONNX in Zetane to complete machine learning projects faster with less trial-and-error
How we use ONNX in Zetane to complete machine learning projects faster with less trial-and-error
  • 2020.10.20
  • www.youtube.com
Get your free trial of Zetane: docs.zetane.comZetane Systems is a member of the ONNX open-standard community from the pioneering organization for open-source...
 

ONNX ランタイムの新機能



ONNX ランタイムの新機能

このトークでは、ONNX ランタイム 1.10 ~ 1.12 リリースのハイライトを共有します。これには、顕著なパフォーマンスの向上、機能、およびモバイルや Web を含むプラットフォームの詳細が含まれます。 Ryan Hill は過去 4 年間 AI フレームワーク チームに所属しており、主にオペレーター カーネル、C API、実行プロバイダーの動的ロードに取り組んできました。それ以前は、Office PowerPoint チームで働いていました。彼の最も広く見られる作品は、スライドショーのスライド トランジションの多くです。楽しみとして、彼は最新の C++ 機能を使用して、内部コンパイラ エラーに遭遇するのが好きです。

このビデオでは、ソフトウェア エンジニアの Ryan Hill が、複数の CPU アーキテクチャをターゲットにできる、広く使用されているクロスプラットフォーム ランタイムである ONNX ランタイムのさまざまな機能と更新について説明しています。彼は、op カーネルを直接呼び出す機能や、転置オプティマイザーや小さなサイズの最適化などのパフォーマンスの向上など、ONNX ランタイムに追加された最新の機能を強調しています。 Hill は、さまざまなハードウェアで最適なパフォーマンスを実現する ONNX ランタイムの実行プロバイダーと、実行時に NHWC 変換をサポートするモバイル パッケージのリリースについても話します。このビデオでは、レイアウトに依存する演算子のサポート、クロスプラットフォーム アプリの Xamarin サポート、ONNX ランタイム Web、およびテキスト変換や数学演算を含むモデルの事前後処理作業に焦点を当てた ONNX ランタイム拡張ライブラリについても説明します。 NLP、ビジョン、およびテキスト ドメイン。

  • 00:00:00 このセクションでは、約 4 年間 ONNX ランタイムに取り組んでいるソフトウェア エンジニアである Ryan Hill が、ONNX ランタイムの機能とその新しいリリースについて説明します。彼は、ONNX ランタイムが複数の CPU アーキテクチャをターゲットにできるクロスプラットフォームのランタイムであり、複数のプログラミング言語の言語バインディングを備えていることを強調しています。 Microsoft を含む複数の業界で広く使用されており、160 以上のモデルが生産されています。 Ryan はまた、最新リリースで追加された新機能についても説明しています。たとえば、モデル実行呼び出しの外部から op カーネルを直接呼び出すことができる機能や、モデルの推論のために外部イニシャライザーをバイト配列としてフィードする機能などです。さらに、Ryan は、転置オプティマイザーや小さなサイズの最適化機能など、最新バージョンのパフォーマンスの改善について話します。最後に、さまざまなハードウェアで最適に実行できるようにする ONNX ランタイムの実行プロバイダーと、実行時に NHWC 変換をサポートするようになったモバイル パッケージのリリースについて強調しています。

  • 00:05:00 このセクションのビデオでは、ONNX ランタイムの新機能と更新について説明します。これには、レイアウトに依存する演算子のサポートや、Android と iOS のクロスプラットフォーム アプリに対する Xamarin のサポートが含まれます。さらに、ONNX ランタイム Web は、Web アセンブリにコンパイルされた単一の C++ コード ベースを提供します。これは、より高速でメモリ使用量が少なく、モデルの前処理作業に焦点を当てた ONNX ランタイム拡張ライブラリがあり、ユーザーは次のことを実行できます。これは完全にモデル実行呼び出し内で機能します。このライブラリには、テキスト変換、数学演算が含まれており、現在は NLP、ビジョン、およびテキスト ドメインに焦点を当てています。 Microsoft Office チームは現在、この拡張ライブラリを使用しています。
What's New in ONNX Runtime
What's New in ONNX Runtime
  • 2022.07.13
  • www.youtube.com
This talk will share highlights of the ONNX Runtime 1.10-1.12 releases, including details on notable performance improvements, features, and platforms includ...
 

v1.12.0 ONNX ランタイム - リリース レビュー



v1.12.0 ONNX ランタイム - リリース レビュー

ONNX ランタイム (ORT) の v1.12.0 リリースは、推論に重点を置いていますが、トレーニングへの継続的な投資も含まれており、Hugging Face Optimum との統合により、いくつかの Hugging Face モデルが高速化されています。新機能には、カスタム op でネイティブ ORT op を使用し、グラフを作成せずにネイティブまたはランタイム オペレーターを直接呼び出す機能が含まれます。このリリースには、.NET 6 とマルチプラットフォーム アプリ UI (MAUI) のサポート、および Android の Neural Processing Unit や iOS の Core ML などの特定のプラットフォームの実行プロバイダーも含まれています。推論中のメモリ割り当てを減らし、不要なログを削除することで、パフォーマンスが向上しました。キャッシュの局所性とスレッド プールの使用率を向上させるための今後の改善が計画されています。

  • 00:00:00 このセクションでは、ONNX ランタイム バージョン 1.12 の新機能と更新について説明します。これらには、.net 標準 1.1 サポートの非推奨と、ONNX オフセット 17 および xml オフセット 3 のサポートの追加が含まれます。新しい機能の 1 つは、個別のグラフを作成せずに個々の ops を呼び出す機能と、推論のための外部初期化子のフィードのサポートです。も追加されました。その他の更新には、python 310 のサポート、python および java ライブラリでの mac m1 サポートの有効化、c-sharp パッケージでの .net 6 maui サポートの追加が含まれます。パフォーマンスと量子化も改善され、Qualcomm Snappy やアクシデント パック ep の一般的なインフラストラクチャを含む新しい実行プロバイダーが導入され、モバイルおよび Web シナリオ用のカーネルをさらに追加する作業が進行中です。

  • 00:05:00 このセクションでは、講演者は ONNX ランタイム (ORT) に加えられた更新について説明し、主に推論に焦点が当てられていると述べています。ただし、大規模なモデルのトレーニングを加速するために、ORT トレーニングへの継続的な投資が行われています。最近の Hugging Face Optimum との統合により、いくつかの Hugging Face モデルが高速化されました。次にスピーカーは Randy を紹介します。Randy は、ユーザーがカスタム op でネイティブの ONNX ランタイム op を使用できるようにする新機能について説明します。 Randy 氏は、この機能は、ONNX ランタイムの強力な行列計算機能を利用して、カスタム オペレーターのパフォーマンスと汎用性を高めたいという顧客の要求から生まれたと説明しています。

  • 00:10:00 このセクションでは、スピーカーは、顧客がグラフなどを作成せずにネイティブ オペレーターまたはランタイム オペレーターを直接呼び出すことができる新機能について説明します。これにより、行列計算関数の実行がはるかに簡単になります。この機能がコミュニティに提案されたのは、別の顧客グループがオーディオ処理に取り組んでいて、ステートメント管理を実現したいと考えていたためです。つまり、過去の入力または出力の一部をキャッシュし、それらを最新の入力と結合し、結合された変更をオペレーターに供給したいと考えていました。入力。これは以前は実現が困難でしたが、新機能により、お客様は ONNX ランタイムのネイティブ オペレーターの周りにラッパーを追加してステートメント管理を実行できるようになり、作業が楽になり、目的を達成できるようになります。この機能の使用方法のサンプルは、コミュニティ Web サイトで入手できます。

  • 00:15:00 このセクションでは、ONNX Runtime Mobile のリーダーである Scott McKay が、ONNX Runtime の v1.12.0 で追加された新機能について説明します。このリリースには、.NET 6 とマルチプラットフォーム アプリ UI (MAUI) のサポートが含まれており、開発者は、Android、iOS、macOS、Windows、および Linux で実行できる 1 つの共有コード ベースを使用してアプリを作成できます。 ONNX ランタイムには、モデルの実行速度と電力効率を最適化できる、Android の Neural Processing Unit や iOS の Core ML などの特定のプラットフォーム用の実行プロバイダーも含まれています。 McKay 氏は、開発者はこれらすべてのフレームワークで ONNX ランタイム ライブラリと対話するために同じ C# バインディングを使用できるが、デバイスの画面サイズの違いを処理したり画像を処理したりするためにプラットフォーム固有のコードが必要になる場合があると説明しています。 ONNX ランタイムを .NET 6 プロジェクトに追加するために、開発者は microsoft.ml.onnxruntime パッケージと microsoft.ml.onnxruntime.managed パッケージを使用できます。これらは、モデルを実行するための C++ 実装と、ネイティブと対話するための C# バインディングを提供します。図書館。

  • 00:20:00 このセクションでは、スピーカーは、ユーザーが新しいライブラリの使用方法を学習するためのサンプルの可用性について説明します。新しいリリースの機能を示すサンプル Xamarin アプリを含む Github リポジトリがあります。さらに、チームはアプリを更新して、デザインが似ているマウイ アプリを含める予定です。最後に、聴衆は、新しい Maui サポートが非常に便利であり、サンプルが優れているため、詳細なチュートリアルに関心を示しています。次の講演者は、ONNX ランタイム チームの拡張性の背後にある概念を説明し、実行プロバイダーの最新情報を提供します。このセクションの更新は、実行プロバイダー インターフェイスを介したハードウェアとの統合に焦点を当てています。このリリースでは、チームはワークロードの推論に重点を置き、Nvidia、Intel、Qualcomm などのベンダーとのコラボレーションにより、多くの改善が行われました。 1 つの改善点は、TensorRT で複数のサブグラフにアクセスするオーバーヘッドを削減する実行コンテキスト メモリを共有するオプションです。もう 1 つの最適化は、エンジン キャッシングのサポートに関連しています。エンジンを事前に構築することで、推論時にエンジンを再構築する時間が短縮されます。

  • 00:25:00 このセクションでは、v1.12.0 ONNX ランタイムのリリース レビュー、特に Qualcomm による Snapdragon Neural Processing Engine の略である Snappy と呼ばれる実行プロバイダーについて説明します。これは、モバイル Snapdragon SOC で AI ワークロードを高速化するために使用される Qualcomm のランタイムです。 Snappy のサポートはまったく新しく、先月の Microsoft Build カンファレンスで発表されました。 Intel は、Snappy のサポートに加えて、OpenVINO を有効にした ONNX ランタイムを使用して PyPI でホストされている Python パッケージの構築も開始しました。これにより、開発者はセットアップが容易になり、動的な入力形状を持つモデルのサポートが向上します。ドキュメントと例へのリンクもリリース ノートに記載されています。

  • 00:30:00 このセクションでは、Microsoft のプリンシパル ソフトウェア エンジニアである Dmitry Smith が、ONNX ランタイムのバージョン 1.12.0 で行われたパフォーマンスの向上について説明します。顧客は、CPU の待機時間と推論の使用率を下げることを求めて Microsoft にアプローチし、それが改善を促しました。チームは、コードの記述方法を変更して、推論中のメモリ割り当てを減らし、不要なログを削除することに重点を置きました。この改善により、一部のシナリオではレイテンシーが 2 倍以上短縮されました。今後のリリースでは、キャッシュの局所性やスレッド プールの使用率の向上など、さらなる改善が計画されています。
v1.12.0 ONNX Runtime - Release Review
v1.12.0 ONNX Runtime - Release Review
  • 2022.07.25
  • www.youtube.com
ORT 1.12 adds support for ONNX 1.12 (opset 17), Python 3.10, .NET 6/MAUI, and Mac M1 builds in the Python and Java packages. We’ve introduced new features su...
 

v1.13 ONNX ランタイム - リリース レビュー



v1.13 ONNX ランタイム - リリース レビュー

ONNX ランタイムのバージョン 1.13 が最近リリースされ、セキュリティ パッチ、バグ修正、およびパフォーマンスの強化が行われました。この更新は、GPU 量子化用の Transformer モデルの最適化に焦点を当て、デバイスに依存せず、150 を超える演算子をサポートする直接 ML 実行プロバイダーのサポートを追加します。さらに、このリリースには、XNN パックなどの新しい EPS との互換性のために、ORT モバイル インフラストラクチャの更新が含まれています。量子化を使用して Transformer ベースのモデルのパフォーマンスを向上させることについても説明します。CUDA 実行プロバイダーを最適化して量子化された BERT モデルを実行し、量子化された認識トレーニングを使用して精度を最大化しながら ONNX ランタイム実行エンジンを最適化します。

  • 00:00:00 このセクションでは、最近リリースされた ONNX ランタイムのバージョン 1.13 について講演者が説明します。これには、セキュリティ パッチ、バグ修正、およびパフォーマンスの改善が含まれています。この更新は、GPU 量子化用の Transformer モデルの最適化に焦点を当て、直接 ML 実行プロバイダーのサポートを追加しました。後者は、150 を超えるさまざまなオペレーターをサポートし、デバイスに依存しない機械学習 API です。スピーカーは、Ascend 310 ハードウェアをサポートするために Huawei によって提供された新しい can EP 実行プロバイダーについても言及しています。さらに、ORT モバイル インフラストラクチャが更新され、XNN パックなどの新しい EPS との互換性が確保されました。

  • 00:05:00 このセクションでは、スピーカーは ONNX ランタイム リリース v1.13 と、それが DirectX 12 までをサポートする GPU とどのように連携するかについて説明し、Windows マシンの最適化を容易にします。また、バージョン 1.12 の新しい演算子と ONNX オフセットの更新についても説明します。講演者は、新しいリリースでさまざまなモデル アーキテクチャのサポートが拡張され、ONNX ランタイム内での実行プロバイダーの活用が容易になったことを強調しています。また、新しい実行プロバイダー、Excellent Impact についても説明し、手書きのカーネルが利用できないモバイル デバイスでパフォーマンスのギャップを埋める方法についても説明します。この機能は現在 Android で有効になっていますが、チームは次のリリースで iOS と Xamarin または Maui ビルドのサポートを追加することを検討しています。最後に、BERT モデル量子化の最適化と呼ばれるリリースの新機能について説明します。

  • 00:10:00 このセクションでは、BERT などの Transformer ベースのモデルのパフォーマンスを向上させるための量子化の使用についてスピーカーが説明します。彼らは、CUDA 実行プロバイダーを最適化して量子化された BERT モデルを実行する方法と、量子化された認識トレーニングを使用して ONNX ランタイム実行エンジンを最適化しながら精度を最大化する方法について説明しています。スピーカーは、BERT モデルの量子化された認識トレーニングを実行し、さらに最適化するために ONNX ランタイムで使用可能なツールを使用してモデルをエクスポートする方法の例を提供します。量子化された認識トレーニングをより適切にサポートすることで、ONNX ランタイムは最大の精度を維持しながら、パフォーマンスをさらに最適化できます。ユーザーが例に従ってモデルをエクスポートした後、新しいバージョンの ONNX ランタイムで利用可能なオフライン ツールがモデルを最適化して速度を向上させることができると彼らは述べています。
v1.13 ONNX Runtime - Release Review
v1.13 ONNX Runtime - Release Review
  • 2022.10.25
  • www.youtube.com
00:00 - Intro with Cassie Breviu, TPM on ONNX Runtime00:17 - Overview with Faith Xu, PM on ONNX Runtime- Release notes: https://github.com/microsoft/onnxrunt...
 

ONNX ランタイム (ORT) とは何ですか?



ONNX ランタイム (ORT) とは何ですか?

ONNX ランタイム (ORT) は、機械学習の推論を最適化および高速化するライブラリです。ユーザーは、サポートされている任意の機械学習ライブラリでモデルをトレーニングし、ONNX 形式にエクスポートして、好みの言語で推論を実行できます。講演者は、ONNX ランタイムで PyTorch を使用して推論を実行する例を強調し、ユーザーが ONNXRuntime.ai にアクセスして、好みのセットアップに必要なさまざまな API とツールを調べることができることを指摘します。

What is ONNX Runtime (ORT)?
What is ONNX Runtime (ORT)?
  • 2022.01.07
  • www.youtube.com
#onnxruntime #machinelearning #inference #python
 

2020 ONNX ロードマップ ディスカッション #1 20200903



2020 ONNX ロードマップ ディスカッション #1 20200903

一般からの投稿に公開されている ONNX ロードマップ ドキュメントは、このビデオの重要なトピックです。このディスカッションでは、機械学習パイプラインでの ONNX の拡張について説明します。これには、進化するデータ、前処理、QFLO などの水平パイプラインへの ONNX の拡張が含まれます。コントリビューターによる提案には、データ フレームのサポートや前処理用の新しい演算子の採用が含まれます。スピーカーは、ONNX のサポートを拡張し、他のライブラリ間の相互運用性を保証するために、Python データ API 標準の採用についても説明します。さらに、講演者は、ONNX を Kubernetes および Kubeflow に統合して、ユーザーの ML 開発を合理化することについて説明します。このグループは、提案の影響を引き続き評価する予定であり、ロードマップまたは運営委員会を通じてフィードバックを歓迎します。

  • 00:00:00 このセクションでは、講演者は一般からの寄稿を受け付けている ONNX ロードマップ ドキュメントについて説明し、変更を実装するためのこれらの寄稿の重要性を強調します。講演者は、10 月 14 日に予定されているコミュニティ ミーティングと共に、毎週ホストされる 6 つのロードマップ ディスカッションがあると述べています。ディスカッションは 3 つの主要な部分に分かれており、2 番目の部分では機械学習パイプラインでの ONNX の拡張に焦点を当てています。具体的には、進化するデータとその前処理、QFLO などの水平パイプラインへの ONNX の拡張について説明します。講演者はまた、データ フレームのサポートや前処理のための新しい演算子の採用など、寄稿者によってなされた提案のいくつかを要約します。

  • 00:05:00 このセクションでは、オーディオ スペクトログラム処理のサポートやデータ レイアウト サポートの拡張など、ONNX ロードマップとさまざまな提案に焦点を当てて説明します。この会話では、ML パイプラインに対する ONNX の影響の提案された拡張と、ONNX 内でデータ フレームをサポートすることの潜在的な利点についても取り上げます。参加者は意見を表明し、あるメンバーは、配列とデータ フレームの相互運用性のためのデータ API 標準を構築する Python Data API Consortium の取り組みについて洞察を共有しています。このグループは、これらの分野で ONNX の機能を拡張することは良いことであり、より広範な業界のイニシアチブと一致していることに同意しているようです。

  • 00:10:00 このセクションでは、スピーカーは、ONNX のサポートを拡張し、同じ標準の他のすべてのライブラリ間の相互運用性を保証する方法として、Python データ API 標準の採用について説明します。スピーカーは、標準の採用によりモデル交換が容易になり、より大きなコンソーシアムとタイム スケジュールを合わせることが、ユーザーが ONNX を使用するのに役立つと述べています。また、ONNX とデータ フレームなどの従来のデータ構造との違い、および他のライブラリで同じ標準を採用する必要性についても説明しています。

  • 00:15:00 ONNX を Kuflow パイプラインに統合して、エンドユーザーの ML 開発を容易にすることができます。 Chen は、すべてのコンポーネントが連携してエンドツーエンドの ML 開発を調整するパイプラインの概念について言及しています。 Kuflow は、モデルとデータ コンテンツをインフラストラクチャと組み合わせて、エンド ユーザーにシームレスなエクスペリエンスを提供します。 Chen は、ONNX をこのパイプラインに統合して、その使用を拡大し、ML 開発者にとって使いやすくする方法を模索しています。

  • 00:20:00 このセクションでは、スピーカーは、Kubernetes と Kubeflow を使用するユーザーがインフラストラクチャと環境に ONNX を活用しやすくするというアイデアについて説明します。目標は、簡単にアクセスできる API を開発して、モデル ズーからモデルを取得し、ONNX を使用してエンド ツー エンドのパイプラインを作成することです。講演者は、ONNX を使用して Kubeflow の機械学習プロセスの推論部分を説明する例を紹介し、データ処理や分散トレーニングなど、より多くのステップをカバーする ONNX コンポーネントを開発するためのアイデアを概説します。アイデアは、機械学習プロセスのより多くのステップをカバーしながら、Kubernetes のパワーを活用することです。

  • 00:25:00 このセクションでは、スピーカーは QFlow を拡張して ONNX ジョブを使用して分散トレーニングを可能にし、データ処理と変換を追加してモデル トレーニング部分に到達することについて説明します。現在、ONNX ランタイム自体は PyTorch からのトランスフォーマー モデルのトレーニングをサポートしていますが、ONNX モデルのトレーニングにはまだ改善の余地があります。講演者は、モデル ズーのモデルから始めて、データを前処理してモデルに変換する方法を確認することを提案していますが、これは純粋に ONNX コア プロジェクト内にあるわけではなく、コンポーネントを定義するためのより高いレベルのフレームワークが必要であることに注意してください。クールフローのように。

  • 00:30:00 このセクションでは、参加者は ONNX ロードマップのために作成された提案について話し合い、スライドをドキュメントにリンクすることを提案します。このグループは、今後の会議で提案の影響を引き続き評価する予定であり、実装についてさらに結論を出すことを望んでいます。また、フィードバックを歓迎し、ユーザーがロードマップまたは運営委員会を通じてフィードバックを送信することを奨励しています。ディスカッションは、別れと将来の会議への招待で締めくくられます。
理由: