Изучаем ONNX для применения в трейдинге - страница 9

[MetaQuotes]

Использование ONNX с устройствами на базе Qualcomm от смартфонов до облачных сред и всего, что между ними

Использование ONNX с устройствами на базе Qualcomm от смартфонов до облачных сред и всего, что между ними

Использование формата обмена ONNX во всем диапазоне устройств Qualcomm помогает поддерживать модели на всех их устройствах. Qualcomm сталкивается со сложными архитектурами при поддержке различных устройств и различных моделей, но ONNX помогает достичь масштабируемости по вертикали, мощным устройствам и географическим регионам. Qualcomm работала с Microsoft над созданием исполняющего исполнителя ONNX, который позволяет запускать модели ONNX на устройствах с процессорами Qualcomm, включая те, которые работают под управлением Windows. Унифицированный программный стек включает в себя библиотеку под названием AI Engine, которая может динамически направлять модель ONNX на различные ускорители для достижения наилучшей производительности, с доступными дополнительными инструментами, такими как профилировщики, компиляторы и анализаторы для оптимизации моделей.

• 00:00:00 В этом разделе спикер из Qualcomm рассказывает о том, как они используют ONNX для поддержки своих устройств, от крошечных наушников до ноутбуков, защищенных камер и даже автомобильного оборудования. Они упоминают, что формат обмена ONNX позволяет им ориентироваться на модель и использовать ее на всех поддерживаемых ими устройствах. Они также обсуждают сложные архитектуры, с которыми им приходится иметь дело для поддержки различных устройств, а также различных моделей, реализаций и требований к функциям. В качестве примера они говорят об использовании технологии датчика глубины Apple для аутентификации на мобильных телефонах и о том, как они теперь интегрировали ту же технологию в защищенные камеры и автомобили.
  
  
• 00:05:00 В этом разделе спикер обсуждает проблему масштабируемости, с которой сегодня сталкивается отрасль в области ИИ. Он объясняет, как Qualcomm справилась с этой задачей и преимуществами использования ONNX в качестве формата обмена для достижения масштабируемости. Перемещая алгоритмы с ЦП на ускорители ИИ, устройства можно легко масштабировать. Многоядерная архитектура позволяет системе достигать более высокой производительности, что помогает в работе с живыми видеопотоками. Кроме того, формат обмена значительно экономит время, поскольку нет необходимости иметь дело с другими фреймворками. Наконец, спикер объясняет, что ONNX помогает масштабироваться по вертикали, небольшим и мощным устройствам и географическим регионам.
  
  
• 00:10:00 В этом разделе спикер обсуждает, как Qualcomm работает с Microsoft над созданием исполняющего исполнителя ONNX для их ускорителя искусственного интеллекта. Это позволяет запускать модели ONNX на различных устройствах на платформе Qualcomm, включая мобильные и автомобильные устройства, а также устройства под управлением Windows. Qualcomm разработала единый программный стек, который поддерживает различные операционные системы и включает в себя унифицированную программную библиотеку под названием AI Engine, которая может динамически направлять модель ONNX на различные ускорители для достижения наилучшей производительности. У них также есть ряд дополнительных инструментов, доступных для использования их клиентами, таких как профилировщики, компиляторы и анализаторы, для создания и оптимизации моделей для их конкретных устройств.

[MetaQuotes]

Развертывание IoT ONNX Runtime на Raspberry Pi

Развертывание IoT ONNX Runtime на Raspberry Pi

В этом видео под названием «Развертывание IoT ONNX Runtime на Raspberry Pi» докладчик демонстрирует, как развернуть среду выполнения ONNX для модели компьютерного зрения на Raspberry Pi с использованием модели Mobilenet, оптимизированной для этого устройства. В видео рассказывается о процессе подключения к Raspberry Pi с помощью средства просмотра VNC, его настройке и запуске теста камеры с использованием OpenCV и Python. Ведущий захватывает изображение, выполняет вывод и распечатывает пять первых предсказанных классов, которые правильно определяют перьевую ручку на изображении. В целом, видео представляет собой полезное руководство по развертыванию среды выполнения ONNX на Raspberry Pi для приложений компьютерного зрения.

[MetaQuotes]

Как установить ONNX Runtime на Raspberry Pi

Как установить ONNX Runtime на Raspberry Pi

Видео содержит подробное руководство по установке ONNX Runtime на Raspberry Pi. После загрузки и установки Raspbian Stretch на Raspberry Pi пользователю необходимо установить пользовательский статический пакет Docker и QMU, создать каталог сборки и запустить команду, чтобы получить пакет колеса выполнения ONNX, который можно установить через pip. В видео также объясняется, как тестировать ONNX Runtime с помощью глубокой нейронной сети, обученной на наборе данных MNIST, и как рассчитать время, необходимое для запуска сеанса логического вывода на одном изображении. Спикер отмечает, что процесс может быть длительным и сложным, но он того стоит из-за возможности развернуть и протестировать нейронные сети на периферийных устройствах.

• 00:00:00 Операционная система была выпущена Raspberry Pi, и вы можете скачать Stretch ОС Raspberry Pi (ранее Raspbian) отсюда. После того, как вы загрузили и установили Docker на свой Raspberry Pi, следующим шагом будет переход в репозиторий ONNX Runtime Github и поиск файла Docker для платформы ARM32v7. Для разных платформ доступны разные файлы Dockerfile, но для Raspberry Pi вам нужен ARM32v7. Найдя правильный файл Dockerfile, вы можете следовать инструкциям по установке ONNX Runtime на Raspberry Pi. Это может быть довольно долгий и сложный процесс, но он того стоит из-за возможности развертывания и тестирования нейронных сетей на периферийных устройствах.
  
  
• 00:05:00 В этом разделе спикер объясняет, как установить ONNX Runtime на Raspberry Pi. Во-первых, пользователю необходимо загрузить файл Raspbian Stretch и имидж-сканер Raspberry Pi, чтобы сделать SD-карту загрузочной. После установки Raspbian Stretch на Raspberry Pi пользователю необходимо установить пользовательский статический пакет Docker и QMU. После создания каталога сборки пользователю необходимо сохранить обновленный файл Dockerfile в каталоге сборки и выполнить команду, чтобы получить пакет колеса выполнения ONNX. После того, как файл колеса установлен с помощью pip и протестирован, его можно импортировать, а ONNX можно использовать на Raspberry Pi с Python 3 версии 3.8.
  
  
• 00:10:00 В этом разделе спикер объясняет, как использовать ONNX Runtime на Raspberry Pi для тестирования модели, обученной на определенном наборе данных. Спикер уже обучил глубокую нейронную сеть, которая может выполнять классификацию цифр, используя набор данных MNIST, и предоставил ссылку на код и модель. После импорта необходимых библиотек спикер создает сценарий, который запускает сеанс логического вывода с использованием ONNX Runtime. Спикер сталкивается с ошибкой сегментации и после исследования узнает о трех уровнях оптимизации графа, которые может выполнять ONNX Runtime, и отключает их, успешно запуская скрипт и получая прогнозируемый результат.
  
  
• 00:15:00 В этом разделе спикер объясняет, как они рассчитали время, необходимое Raspberry Pi для запуска сеанса логического вывода на одном изображении. Они вводят отдельный скрипт, использующий библиотеку времени для расчета времени, необходимого для создания выходных данных и запуска модели в среде выполнения ONNX, что занимает около 0,06 секунды, что, как отмечает докладчик, действительно хорошо для простой модели и небольшого размера изображения. Они призывают зрителей установить среду выполнения ONNX на свой Raspberry Pi и обращаться с любыми вопросами или проблемами.

[MetaQuotes]

Различные модели классификации изображений MobileNet ONNX работают на Raspberry Pi

Различные модели классификации изображений MobileNet ONNX работают на Raspberry Pi

Выполняет классификацию изображений на Raspberry Pi 4 в ONNX Runtime, используя 3 шаблона моделей MobileNet V1 ONNX.

1. Depth 1,00 и 224x224
2. Depth 0,50 и 160x160
3. Depth 0,25 и 128x128

Классификация выполняется за 7 мс, в зависимости от используемой модели.

[MetaQuotes]

SSDLite Mobilenet V2 в ONNX Runtime, работающей на Raspberry Pi 4

SSDLite Mobilenet V2 в ONNX Runtime, работающей на Raspberry Pi 4

SSDLite Mobilenet V2 на ONNX Runtime работает на Raspberry Pi 4 без аппаратного ускорения.

[MetaQuotes]

SSDLite Mobilenet V1 0,75 в ONNX Runtime работает на Raspberry Pi 4

SSDLite Mobilenet V1 0,75 в ONNX Runtime, работающей на Raspberry Pi 4

Модель SSDLite Mobilenet V1 0,75 в ONNX Runtime, работающая на Raspberry Pi 4 без аппаратного ускорения.

[MetaQuotes]

Модель Tiny-YOLOv3 в ONNX Runtime работает на Raspberry Pi 4

Tiny-YOLOv3 в ONNX Runtime работает на Raspberry Pi 4

Tiny-YOLOv3 в ONNX Runtime работает на Raspberry Pi 4 без аппаратного ускорения.

[MetaQuotes]

Исполнение классификационных моделей на Raspberry Pi 4 и моделей обнаружения объектов с оптимизированной средой ONNX Runtime

Исполнение класификационных моделей на Raspberry Pi 4 и моделей обнаружение объектов с оптимизированной средой ONNX Runtime

Выполняет классификацию изображений на Raspberry Pi 4 в ONNX Runtime:

1. Классификация с использованием MobileNet V3;
2. Обнаружение с использованием SSDLite MobileNet V2.

[MetaQuotes]

Модели обнаружения объектов на Raspberry Pi 4 с оптимизированной средой ONNX Runtime (конец 2020 г.)

Обнаружение объектов Raspberry Pi 4 с оптимизированной средой выполнения ONNX Runtime (конец 2020 г.)

Аппаратное обеспечение: Raspberry Pi 4B
ОС: ОС Raspberry Pi (32 бита)
Программное обеспечение: ONNX Runtime 1.4.0 с настраиваемым поставщиком исполнения (с ускорением ЦП)
Модели:

• MobileNetV1 SSD 0,75 глубина 300x300 FP32 (преобразование TensorFlow)
  http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_0.75_depth_300x300_coco14_sync_2018_07_03.tar.gz
  
  
• Модель: MobileNetV2 SSDLite 300x300 FP32 (преобразованный TensorFlow)
  http://download.tensorflow.org/models/object_detection/ssdlite_mobilenet_v2_coco_2018_05_09.tar.gz|
  
  
• Крошечный YOLOv3
  https://github.com/onnx/models/blob/main/vision/object_detection_segmentation/tiny-yolov3/model/tiny-yolov3-11.onnx

[MetaQuotes]

Tiny-YOLOv3 в ONNX Runtime работает на Raspberry Pi 4

Tiny-YOLOv3 в ONNX Runtime работает на Raspberry Pi 4

Tiny-YOLOv3 в ONNX Runtime работает на Raspberry Pi 4 без аппаратного ускорения.