비디오에서 발표자는 기계 학습 모델을 보고 분석하기 위한 도구인 Netron에 대한 개요를 제공합니다. Netron은 다양한 형식을 지원하며 여러 플랫폼에 설치할 수 있습니다. 발표자는 Netron을 시작하고 여러 예제 모델을 탐색하는 방법을 보여주면서 도구의 기능과 제한 사항을 강조합니다. Netron은 더 간단한 네트워크 아키텍처를 탐색하는 데 유용하지만 발표자는 더 복잡한 모델을 시각화하기 위한 추가 기능의 이점을 누릴 수 있다고 제안합니다. 전반적으로 발표자는 기계 학습 모델을 검토하고 이해하는 데 유용한 도구로 Netron을 추천합니다.
We look into the machine learning network viewer Netron.Github repository:https://github.com/lutzroeder/netronPlease follow me on Twitterhttps://twitter.com/...
Netron은 사용자가 딥 러닝 모델의 구조와 매개변수를 시각적으로 탐색하고 검사할 수 있도록 도와주는 Python 라이브러리입니다. 분석을 위한 샘플 모델을 제공하는 오픈 소스 라이브러리이며 설치 과정이 간단합니다. 단 두 줄의 코드로 사용자는 Netron을 설치하고 이를 사용하여 신경망 구조, 활성화 기능, 풀링 계층, 컨볼루션 계층 및 주어진 기계 학습 모델의 각 계층에서 전달되는 모든 속성을 시각화할 수 있습니다. Netron은 사용자가 시각화를 PNG 파일로 내보내고 다양한 기능과 옵션을 탐색할 수 있는 사용하기 쉬운 인터페이스를 제공합니다.
00:00:00 이 섹션에서는 딥 러닝 모델의 내부 구조를 시각화하는 데 도움이 되는 Python 라이브러리인 Netron에 대해 알아봅니다. Netron을 사용하여 주어진 모델 내에서 사용되는 특정 신경망 계층과 매개변수를 검사할 수 있습니다. Netron은 분석을 위한 샘플 모델을 제공하고 설치 프로세스가 간단한 오픈 소스 라이브러리입니다. 일단 설치되면 사용자는 Netron 라이브러리를 가져오고 "시작" 방법을 사용하여 기계 학습 모델 파일을 전달할 수 있습니다. 그런 다음 Netron은 모델 구조의 시각적 표현을 생성하여 사용자가 각 레이어와 해당 매개변수를 시각적으로 탐색할 수 있도록 합니다.
00:05:00 비디오의 이 섹션에서 발표자는 기계 학습 모델용 네트워크 시각화 도구인 Netron을 사용하는 방법을 보여줍니다. 이 도구는 신경망 구조, 활성화 함수, 풀링 계층, 컨볼루션 계층 및 주어진 기계 학습 모델의 각 계층에서 전달된 모든 속성을 시각화할 수 있습니다. 두 줄의 코드만으로 도구를 로컬 시스템에 설치하거나 netron.app 웹 사이트에서 온라인으로 액세스할 수 있습니다. 사용자는 시각화를 PNG 파일로 내보내고 도구의 인터페이스에서 사용할 수 있는 다양한 기능과 옵션을 탐색할 수 있습니다.
Hello Friends, In this episode will talk about ,How to visualise a Deep Neural Network with the help of Netron API.Stay tuned and enjoy Machine Learning !!!C...
비디오의 연사는 PyTorch, TensorFlow, Keras, ONNX, TensorRT 및 OpenVINO와 같은 다양한 AI 프레임워크의 장단점에 대해 논의하고 PyTorch를 교육 및 데이터 변환을 위한 기본 프레임워크로 추천합니다. 연사는 PyTorch 모델을 ONNX로 변환한 다음 TensorRT 또는 OpenVINO로 변환하는 과정과 TensorFlow PB 파일 및 카페 사용에 대한 주의 사항을 설명합니다. 연사는 또한 부동 소수점 형식을 올바르게 설정하는 것의 중요성에 대해 논의하고 대부분의 모델에 FP 32를 사용할 것을 권장합니다. 이 비디오는 모델 변환의 예를 제공하고 시청자가 더 교육적인 비디오를 보려면 공식 웹 사이트를 방문하도록 권장합니다.
00:00:00 이 섹션에서 발표자는 PyTorch, TensorFlow, Keras 및 Cafe를 포함한 다양한 AI 프레임워크에 대해 설명하고 PyTorch를 사용하여 모델을 ONNX 파일로 저장하는 회사에서 선호하는 방법을 설명합니다. ONNX Runtime을 사용하여 데이터 세트를 사용합니다. 테스트를 통과하면 ONNX 모델을 TensorRT 및 OpenVINO 형식으로 변환합니다. 발표자는 TensorFlow PB 파일과 카페를 사용하는 것에 대해 주의를 기울이고 대신 학습을 위해 원본 데이터와 PyTorch를 사용하는 Python을 사용할 것을 권장합니다. 마지막으로 발표자는 때때로 추론 엔진이 부동 소수점을 적절하게 설정해야 한다고 언급합니다.
00:05:00 이 섹션에서 발표자는 부동 소수점 형식의 선택이 모델 변환의 속도와 정밀도에 어떤 영향을 미치는지 설명합니다. 그는 FP 16을 사용하면 속도를 높일 수 있지만 정밀도가 떨어질 수 있는 반면 FP 64를 사용하면 속도는 느려지지만 정밀도는 높아진다고 설명합니다. 발표자는 대부분의 모델에 FP 32를 사용할 것을 권장하고 의료 이미지 분석을 위한 FP 32 및 FP 64와 같은 특정 유형의 데이터 세트에 다양한 형식을 사용할 수 있는 방법에 대해 설명합니다. 그는 또한 모델을 FP 32에서 FP 16으로 변환하면 정확도 손실이 발생할 수 있으며, 모델의 정확도를 개선하기 위해 FP 16으로 보정, 삭제 또는 재훈련을 사용하여 완화할 수 있다고 설명합니다.
00:10:00 비디오의 이 섹션에서 화자는 PyTorch, TensorFlow, Keras, ONNX, TensorRT 및 OpenVINO와 같은 다양한 AI 프레임워크를 사용할 때 속도, 정밀도 및 데이터 정보 간의 장단점에 대해 논의합니다. 발표자는 PyTorch를 사용하고 제공된 솔루션을 사용하여 모델을 PyTorch에서 ONNX로 변환할 것을 권장합니다. 그런 다음 제공된 다른 솔루션을 사용하여 모델을 ONNX에서 TensorRT로 변환하는 방법을 설명합니다. 연사는 Jupiter Lab에서 코드를 실행하여 변환 프로세스를 시연하고 변환된 모델 파일을 찾는 방법을 보여줍니다.
00:15:00 비디오의 이 섹션에서 연사는 AI 모델을 PyTorch에서 ONNX로 변환한 다음 TensorRT 또는 OpenVINO로 쉽게 변환하는 방법에 대해 논의하며 간단한 프로세스임을 강조합니다. 그러나 TensorFlow 또는 Keras를 사용하는 경우 연사는 PyTorch를 사용하여 모델 변환을 더 쉽게 수행할 수 있으므로 데이터 세트를 재교육할 것을 권장합니다. 발표자는 모델 파일 데이터에 매개변수만 포함되어 있기 때문에 Keras를 사용하는 데 문제가 있을 수 있으며 H5 매개변수 파일을 가져오기 전에 네트워크 아키텍처를 먼저 구축해야 한다고 경고합니다. 화자는 이러한 문제에 대한 궁극적인 해결책이 Café라고 제안하지만 Café의 개발자가 Café 2로 마이그레이션하고 유지 관리할 사람이 없는 상황에서 화자는 PyTorch를 주요 AI 프레임워크로 사용할 것을 권장합니다.
00:20:00 이 섹션에서 발표자는 PyTorch 사용의 이점과 빠른 속도 및 향상된 아키텍처로 인한 마이그레이션 용이성에 대해 논의합니다. 발표자는 또한 솔루션을 사용하여 v3 가중치 모델을 OpenVINO AIA 모델로 변환하는 방법과 객체 감지를 위한 가장 강력한 솔루션인 Euro v4를 제공합니다. 예제를 사용하려면 변환을 위해 Euro v4 CPP 가중치 파일과 Euro v4 CFG 네트워크 구성 파일의 두 파일이 필요합니다. 변환 후 결과를 확인하기 위해 추론 이미지에 사용할 Haitatsu PTH 파일이 생성됩니다. 연사는 Python 을 사용하여 AI 교육을 수행한 다음 ONNX로 변환한 다음 TensorRT 또는 OpenVINO로 변환할 것을 권장합니다. 마지막으로 발표자는 시청자들이 더 많은 교육 비디오를 보려면 공식 웹 사이트를 방문하고 매주 비디오 목록을 받을 수 있는 무료 회원이 되라고 권장합니다.
Zetane Systems의 공동 창립자이자 CTO인 Patrick Saitama는 회사의 신제품에서 ONNX를 사용하여 AI의 블랙박스 문제와 관련된 문제를 해결하는 것의 가치에 대해 설명합니다. Zetane의 엔진은 ONNX 모델의 탐색 및 검사를 허용하여 모델과 데이터의 상호 작용에 대한 통찰력을 제공하고 품질 향상을 위한 보다 결정적인 전략으로 이어집니다. 주어진 예는 Zetane의 엔진이 라디오 레이어를 검사하고 장애물이 아닌 것으로 표시된 터널 이미지를 더 추가하여 자율 열차 모델을 디버그하는 데 어떻게 도움이 되었는지 보여줍니다. Zetane 에는 내부 텐서를 동적으로 검사하고 나중에 조사하기 위해 모델의 스냅샷을 찍는 도구도 포함되어 있습니다. 또한 Zetane의 새 엔진을 사용하면 YOLOv3와 같은 더 큰 모델을 설치할 수 있습니다.
00:00:00 Zetane Systems의 공동 창립자이자 CTO인 Patrick Saitama가 ONNX에서 더 큰 가치를 추출하여 개발 주기 시간을 단축하고 추측을 줄이는 방법에 대해 설명합니다. 몬트리올에 본사를 둔 그의 회사인 Zetane Systems는 최근 업계에 구애받지 않고 AI의 블랙박스 문제와 관련된 몇 가지 문제를 해결하는 것을 목표로 하는 신제품을 출시했습니다. ONNX 모델에 입력 데이터를 전달한 다음 모델을 Zetane 엔진에 투영하면 디버그를 위해 각 연산자 노드에 포함된 모든 텐서뿐만 아니라 아키텍처 및 계산 그래프를 포함하여 모델을 탐색하고 검사할 수 있습니다. 모델을 최적화합니다.
00:05:00 발표자는 Zetane에서 ONNX를 사용하여 모델 및 데이터와의 상호 작용에 대한 더 깊은 통찰력을 제공하여 모델의 품질을 개선하기 위한 보다 결정적인 전략으로 이어지는 방법에 대해 논의합니다. 주어진 예는 자율 열차 모델이며 지속 엔진의 무선 레이어를 보면 모델이 터널을 장애물로 감지하여 장애물이 아닌 것으로 레이블이 지정된 터널 이미지를 더 많이 추가하는 것으로 나타났습니다. Zetane에는 또한 내부 텐서를 동적으로 검사하고 나중에 조사하고 개선하기 위해 특정 순간에 모델의 스냅샷을 찍는 도구가 포함되어 있습니다. 또한 최근에 detain 엔진이 출시되어 YOLOv3와 같은 더 큰 모델을 설치할 수 있습니다.
Get your free trial of Zetane: docs.zetane.comZetane Systems is a member of the ONNX open-standard community from the pioneering organization for open-source...
이 강연에서는 주목할 만한 성능 개선 사항, 기능, 모바일 및 웹을 포함한 플랫폼에 대한 세부 정보를 포함하여 ONNX Runtime 1.10-1.12 릴리스의 주요 내용을 공유합니다. Ryan Hill은 지난 4년 동안 AI 프레임워크 팀에서 근무하면서 주로 연산자 커널, C API 및 동적으로 로드되는 실행 공급자에 대해 작업했습니다. 그 전에는 Office PowerPoint 팀에서 일했는데, 그의 가장 널리 알려진 작업은 많은 슬라이드쇼 슬라이드 전환입니다. 재미로 그는 최신 C++ 기능을 사용하고 내부 컴파일러 오류를 치는 것을 좋아합니다.
비디오에서 소프트웨어 엔지니어 Ryan Hill은 여러 CPU 아키텍처를 대상으로 할 수 있는 널리 사용되는 교차 플랫폼 런타임인 ONNX Runtime의 다양한 기능과 업데이트에 대해 설명합니다. 그는 OP 커널을 직접 호출하는 기능과 같은 ONNX Runtime에 추가된 최신 기능과 전치 최적화 프로그램 및 작은 크기 최적화와 같은 성능 향상을 강조합니다. Hill은 또한 다양한 하드웨어에서 최적의 성능을 가능하게 하는 ONNX Runtime의 실행 공급자와 런타임 시 NHWC 변환을 지원하는 모바일 패키지 릴리스에 대해 이야기합니다. 비디오는 또한 레이아웃에 민감한 연산자 지원, 플랫폼 간 앱에 대한 Xamarin 지원, ONNX Runtime 웹, 텍스트 변환 및 수학 연산을 포함하여 모델 전처리 작업에 중점을 둔 ONNX Runtime 확장 라이브러리를 다룹니다. NLP, 비전 및 텍스트 도메인.
00:00:00 이 섹션에서는 ONNX Runtime에서 약 4년 동안 근무한 소프트웨어 엔지니어 Ryan Hill이 ONNX Runtime의 기능과 새 릴리스에 대해 설명합니다. 그는 ONNX Runtime이 여러 CPU 아키텍처를 대상으로 할 수 있고 여러 프로그래밍 언어에 대한 언어 바인딩이 있는 크로스 플랫폼 런타임이라고 강조합니다. 160개 이상의 생산 모델을 보유한 Microsoft를 포함한 여러 산업에서 널리 사용됩니다. Ryan은 모델 실행 호출 외부에서 직접 op 커널을 호출할 수 있는 기능과 모델 추론을 위한 바이트 배열로 외부 이니셜라이저를 공급하는 기능과 같이 최신 릴리스에 추가된 새로운 기능에 대해서도 설명합니다. 또한 Ryan은 전치 최적화 및 작은 크기 최적화 기능과 같은 최신 버전의 성능 향상에 대해 이야기합니다. 마지막으로 그는 다양한 하드웨어에서 최적의 성능을 발휘할 수 있게 해주는 ONNX Runtime의 실행 공급자와 이제 런타임 시 NHWC 변환을 지원하는 모바일 패키지 릴리스를 강조합니다.
00:05:00 이 섹션에서는 레이아웃에 민감한 연산자 지원 및 Android 및 iOS의 교차 플랫폼 앱에 대한 Xamarin 지원을 포함하여 ONNX Runtime의 새로운 기능 및 업데이트에 대한 비디오를 다룹니다. 또한 ONNX Runtime 웹은 웹 어셈블리로 컴파일된 단일 C++ 코드 기반을 제공하며 더 빠르고 적은 메모리를 사용합니다. 이제 모델 전처리 작업에 초점을 맞춘 ONNX Runtime 확장 라이브러리가 있어 사용자가 다음을 수행할 수 있습니다. 이것은 전적으로 모델 실행 호출 내에서 작동합니다. 라이브러리에는 텍스트 변환, 수학 연산이 포함되며 현재 NLP, 비전 및 텍스트 도메인에 중점을 둡니다. Microsoft Office 팀은 현재 이 확장 라이브러리를 사용하고 있습니다.
This talk will share highlights of the ONNX Runtime 1.10-1.12 releases, including details on notable performance improvements, features, and platforms includ...
ONNX Runtime(ORT)의 v1.12.0 릴리스는 추론에 중점을 두지만 Hugging Face Optimum과의 통합으로 인해 여러 Hugging Face 모델의 가속화를 통해 교육에 대한 지속적인 투자도 포함합니다. 새로운 기능에는 사용자 지정 작업에서 기본 ORT 작업을 사용하고 그래프를 작성하지 않고 기본 또는 런타임 연산자를 직접 호출하는 기능이 포함됩니다. 이 릴리스에는 .NET 6 및 다중 플랫폼 앱 UI(MAUI)에 대한 지원과 Android의 Neural Processing Unit 및 iOS의 Core ML과 같은 특정 플랫폼에 대한 실행 공급자도 포함됩니다. 추론 중 메모리 할당을 줄이고 불필요한 로깅을 제거하여 성능이 향상되었습니다. 캐시 지역성과 스레드 풀 활용도를 향상시키기 위한 향후 개선이 계획되어 있습니다.
00:00:00 이 섹션에서는 ONNX Runtime 버전 1.12의 새로운 기능과 업데이트에 대해 설명합니다. 여기에는 .net 표준 1.1 지원 중단과 ONNX 오프셋 17 및 xml 오프셋 3에 대한 지원 추가가 포함됩니다. 새로운 기능 중 하나는 별도의 그래프를 만들지 않고 개별 작업을 호출하는 기능과 추론을 위한 외부 이니셜라이저 공급 지원입니다. 도 추가되었습니다. 기타 업데이트에는 Python 310 지원, Python 및 Java 라이브러리에서 mac m1 지원 활성화, c-sharp 패키지에 .net 6 maui 지원 추가가 포함됩니다. 성능 및 양자화도 개선되었으며, Qualcomm Snappy 및 사고 팩 ep용 일반 인프라를 포함한 새로운 실행 공급자가 도입되었으며, 모바일 및 웹 시나리오를 위한 더 많은 커널을 추가하기 위한 지속적인 작업이 진행 중입니다.
00:05:00 이 섹션에서 발표자는 ONNX Runtime(ORT)의 업데이트에 대해 설명하고 주로 추론에 중점을 두었다고 언급합니다. 그러나 대형 모델의 교육을 가속화하기 위해 ORT 교육에 대한 지속적인 투자가 있었습니다. Hugging Face Optimum과의 최근 통합으로 여러 Hugging Face 모델이 가속화되었습니다. 그런 다음 스피커는 사용자가 사용자 지정 작업에서 기본 ONNX 런타임 작업을 사용할 수 있도록 하는 새로운 기능에 대해 논의하는 Randy를 소개합니다. Randy는 이 기능이 ONNX Runtime의 강력한 행렬 계산 기능을 활용하여 사용자 지정 연산자의 성능과 활용도를 높여 달라는 고객 요청에서 나온 것이라고 설명합니다.
00:10:00 이 섹션에서 발표자는 고객이 그래프 등을 구축하지 않고 기본 또는 런타임 연산자를 직접 호출할 수 있도록 하는 새로운 기능에 대해 설명합니다. 이를 통해 행렬 계산 기능을 훨씬 쉽게 실행할 수 있습니다. 이 기능은 다른 고객 그룹이 오디오 처리 작업을 하고 있었고 명령문 관리를 원했기 때문에 커뮤니티에 제안되었습니다. 입력. 이것은 이전에는 달성하기 어려웠지만 새로운 기능을 통해 고객은 ONNX Runtime의 기본 연산자 주위에 래퍼를 추가하여 명령문 관리를 수행하여 삶을 더 쉽게 만들고 목적을 달성할 수 있습니다. 이 기능을 사용하는 방법에 대한 샘플은 커뮤니티 웹 사이트에서 제공됩니다.
00:15:00 이 섹션에서는 ONNX Runtime Mobile의 책임자인 Scott McKay가 ONNX Runtime v1.12.0에 추가된 새로운 기능에 대해 설명합니다. 이 릴리스에는 .NET 6 및 다중 플랫폼 앱 UI(MAUI)에 대한 지원이 포함되어 있어 개발자가 Android, iOS, macOS, Windows 및 Linux에서 실행할 수 있는 하나의 공유 코드 베이스를 사용하여 앱을 만들 수 있습니다. ONNX Runtime에는 모델 실행 속도와 전력 효율성을 최적화할 수 있는 Android의 Neural Processing Unit 및 iOS의 Core ML과 같은 특정 플랫폼에 대한 실행 공급자도 포함되어 있습니다. McKay는 개발자가 이러한 모든 프레임워크에서 ONNX Runtime 라이브러리와 상호 작용하기 위해 동일한 C# 바인딩을 사용할 수 있지만 장치 화면 크기의 차이를 처리하고 이미지를 처리하는 데 필요한 일부 플랫폼별 코드가 있을 수 있다고 설명합니다. ONNX Runtime을 .NET 6 프로젝트에 추가하기 위해 개발자는 microsoft.ml.onnxruntime 패키지 및 microsoft.ml.onnxruntime.managed 패키지를 사용할 수 있습니다. 이 패키지는 모델 실행을 위한 C++ 구현과 기본 도서관.
00:20:00 이 섹션에서 발표자는 사용자가 새 라이브러리를 사용하는 방법을 배울 수 있는 예제의 가용성에 대해 논의합니다. 새 릴리스의 기능을 시연하는 예제 Xamarin 앱이 있는 Github 리포지토리가 있습니다. 또한 팀은 유사한 디자인의 Maui 앱을 포함하도록 앱을 업데이트할 예정입니다. 마지막으로 청중은 새로운 Maui 지원이 매우 유용하고 예제가 훌륭할 것이기 때문에 심화 자습서에 관심을 표명합니다. 다음 발표자는 ONNX Runtime 팀의 확장성 이면에 있는 개념을 설명하고 실행 공급자에 대한 업데이트를 제공합니다. 이 섹션의 업데이트는 실행 공급자 인터페이스를 통한 하드웨어와의 통합에 중점을 둡니다. 이 릴리스에서 팀은 추론 워크로드에 중점을 두었고 Nvidia, Intel, Qualcomm과 같은 공급업체와의 협력을 통해 많은 개선 사항을 도출했습니다. 한 가지 개선 사항은 TensorRT로 여러 하위 그래프에 액세스하는 오버헤드를 줄이는 실행 컨텍스트 메모리를 공유하는 옵션입니다. 또 다른 최적화는 엔진 캐싱 지원과 관련이 있으며 엔진을 미리 구축하면 추론 시간에 엔진을 다시 빌드하는 시간이 줄어듭니다.
00:25:00 이 섹션에서는 v1.12.0 ONNX Runtime의 릴리스 검토, 특히 Qualcomm의 Snapdragon Neural Processing Engine을 나타내는 Snappy라는 실행 공급자에 대해 설명합니다. 이것은 모바일 Snapdragon SOC에서 AI 워크로드를 가속화하는 데 사용되는 Qualcomm의 런타임입니다. Snappy에 대한 지원은 완전히 새로운 기능이며 지난 달 Microsoft Build 컨퍼런스에서 발표되었습니다. Intel은 Snappy에 대한 지원과 함께 OpenVINO가 활성화된 ONNX 런타임과 함께 PyPI에서 호스팅되는 Python 패키지를 구축하기 시작했습니다. 이를 통해 개발자는 동적 입력 모양이 있는 모델을 더 쉽게 설정하고 더 잘 지원할 수 있습니다. 설명서 및 예제에 대한 링크도 릴리스 정보에 제공됩니다.
00:30:00 이 섹션에서는 Microsoft의 수석 소프트웨어 엔지니어인 Dmitry Smith가 ONNX Runtime 버전 1.12.0의 성능 향상에 대해 설명합니다. 고객은 추론을 위한 더 낮은 CPU 대기 시간 및 사용량을 요청하는 Microsoft에 접근했으며, 이는 개선을 촉구했습니다. 팀은 코드 작성 방식을 변경하여 추론 중에 메모리 할당을 줄이고 불필요한 로깅을 제거하는 데 중점을 두었습니다. 개선 사항으로 인해 일부 시나리오에서 대기 시간이 2배 이상 감소했으며 캐시 지역성 및 스레드 풀 사용률 향상과 같은 추가 개선 사항은 향후 릴리스에서 계획되어 있습니다.
ORT 1.12 adds support for ONNX 1.12 (opset 17), Python 3.10, .NET 6/MAUI, and Mac M1 builds in the Python and Java packages. We’ve introduced new features su...
ONNX 런타임 버전 1.13은 최근 보안 패치, 버그 수정 및 성능 향상과 함께 출시되었습니다. 이 업데이트는 GPU 양자화를 위한 Transformer 모델 최적화에 중점을 두고 있으며 장치에 구애받지 않고 150개 이상의 연산자를 지원하는 직접 ML 실행 공급자에 대한 지원을 추가합니다. 또한 이 릴리스에는 XNN 팩과 같은 새로운 EPS와의 호환성을 위해 ORT 모바일 인프라에 대한 업데이트가 포함되어 있습니다. 양자화를 사용하여 Transformer 기반 모델의 성능을 개선하는 방법에 대해서도 설명합니다. 양자화된 BERT 모델을 실행하기 위한 CUDA 실행 공급자의 최적화와 ONNX 런타임 실행 엔진을 최적화하면서 정확도를 최대화하기 위한 양자화된 인식 교육의 사용에 대해서도 설명합니다.
00:00:00 이 섹션에서 연사는 보안 패치, 버그 수정 및 성능 개선이 포함된 최근 출시된 ONNX 런타임 버전 1.13에 대해 설명합니다. 이 업데이트는 GPU 양자화를 위한 Transformer 모델 최적화에 중점을 두고 직접 ML 실행 공급자에 대한 지원을 추가했습니다. 후자는 150개 이상의 다양한 운영자를 지원하고 장치에 구애받지 않는 기계 학습 API입니다. 발표자는 또한 Huawei가 Ascend 310 하드웨어를 지원하기 위해 기여한 새로운 캔 EP 실행 공급자에 대해 언급합니다. 또한 XNN 팩과 같은 새로운 EPS와의 호환성을 허용하는 ORT 모바일 인프라가 업데이트되었습니다.
00:05:00 이 섹션에서 연사는 ONNX 런타임 릴리스 v1.13에 대해 논의하고 Windows 시스템에 맞게 더 쉽게 최적화할 수 있도록 최대 DirectX 12를 지원하는 모든 GPU와 함께 작동하는 방식에 대해 설명합니다. 또한 새 연산자와 버전 1.12의 ONNX 오프셋 업데이트에 대해 설명합니다. 발표자는 새 릴리스가 ONNX 런타임 내에서 실행 공급자를 보다 쉽게 활용할 수 있도록 다양한 모델 아키텍처에 대한 지원을 어떻게 확장했는지 강조합니다. 또한 새로운 실행 공급자인 Excellence Impact와 손으로 쓴 커널을 사용할 수 없는 모바일 장치의 성능 격차를 메우는 방법에 대해서도 논의합니다. 이 기능은 현재 Android에 대해 활성화되어 있지만 팀은 다음 릴리스에서 iOS 및 Xamarin 또는 Maui 빌드에 대한 지원을 추가할 계획입니다. 마지막으로 그들은 BERT 모델 양자화를 위한 최적화라는 릴리스의 새로운 기능에 대해 논의합니다.
00:10:00 이 섹션에서 발표자는 양자화를 사용하여 BERT와 같은 트랜스포머 기반 모델의 성능을 개선하는 방법에 대해 설명합니다. 양자화된 BERT 모델을 실행하기 위해 CUDA 실행 공급자를 최적화하는 방법과 ONNX 런타임 실행 엔진을 최적화하면서 정확도를 최대화하기 위해 양자화된 인식 교육을 사용하는 방법을 설명합니다. 연사는 추가 최적화를 위해 BERT 모델 양자화 인식 훈련을 수행하고 ONNX 런타임에서 사용할 수 있는 도구로 모델을 내보내는 방법에 대한 예를 제공합니다. 양자화된 인식 교육을 더 잘 지원함으로써 ONNX 런타임은 최대 정확도를 유지하면서 추가 성능 최적화를 제공할 수 있습니다. 그들은 사용자가 예제를 따라 모델을 내보낸 후 새 버전의 ONNX 런타임에서 사용할 수 있는 오프라인 도구가 더 나은 속도를 위해 모델을 최적화할 수 있다고 언급합니다.
ONNX Runtime(ORT)은 기계 학습 추론을 최적화하고 가속화하는 라이브러리로, 사용자가 지원되는 모든 기계 학습 라이브러리에서 모델을 훈련하고 ONNX 형식으로 내보내고 원하는 언어로 추론을 수행할 수 있도록 합니다. 발표자는 ONNX Runtime과 함께 PyTorch를 사용하여 추론을 수행하는 예를 강조하고 사용자가 ONNXRuntime.ai를 방문하여 원하는 설정에 필요한 다양한 API와 도구를 탐색할 수 있다고 지적합니다.
대중의 기여에 공개된 ONNX 로드맵 문서가 이 비디오의 핵심 주제입니다. 이 토론에서는 데이터 진화, 사전 처리, ONNX를 QFLO와 같은 수평 파이프라인으로 확장하는 것을 포함하여 기계 학습 파이프라인에서 ONNX를 확장하는 방법을 다룹니다. 기여자들의 제안에는 데이터 프레임 지원 및 사전 처리를 위한 새로운 연산자 채택이 포함됩니다. 연사는 또한 ONNX의 지원을 확장하고 다른 라이브러리 간의 상호 운용성을 보장하기 위한 Python 데이터 API 표준의 채택에 대해 논의합니다. 또한 연사는 ONNX를 Kubernetes 및 Kubeflow에 통합하여 사용자를 위한 ML 개발을 간소화하는 방법에 대해 논의합니다. 그룹은 제안의 영향을 계속 평가할 계획이며 로드맵 또는 운영 위원회를 통해 피드백을 환영합니다.
00:00:00 이 섹션에서 발표자는 대중의 기여에 공개된 ONNX 로드맵 문서에 대해 논의하고 변경 사항을 구현하기 위한 이러한 기여의 중요성을 강조합니다. 연사는 10월 14일에 계획된 커뮤니티 회의와 함께 매주 주최되는 6개의 로드맵 토론이 있을 것이라고 언급합니다. 토론은 세 가지 주요 부분으로 나뉘며 두 번째 부분은 기계 학습 파이프라인에서 ONNX를 확장하는 데 중점을 둡니다. 특히 데이터 진화 및 사전 처리, ONNX를 QFLO와 같은 수평 파이프라인으로 확장하는 것에 대해 논의합니다. 발표자는 또한 데이터 프레임 지원 및 사전 처리를 위한 새로운 연산자 채택과 같은 기여자들의 제안 중 일부를 요약합니다.
00:05:00 이 섹션에서는 오디오 스펙트로그램 처리 지원 및 데이터 레이아웃 지원 확장과 같은 ONNX 로드맵 및 다양한 제안에 대해 논의합니다. 또한 이 대화에서는 ML 파이프라인에 대한 ONNX의 영향력 확장 제안과 ONNX 내에서 데이터 프레임 지원의 잠재적 이점에 대해서도 다룹니다. 참가자들은 어레이 및 데이터 프레임 상호 운용성을 위한 데이터 API 표준을 구축하려는 Python 데이터 API 컨소시엄의 노력에 대한 통찰력을 공유하는 한 구성원과 함께 의견을 표명합니다. 이 그룹은 이러한 영역에서 ONNX의 기능을 확장하는 것이 좋은 일이며 더 광범위한 업계 이니셔티브와 일치한다는 데 동의하는 것 같습니다.
00:10:00 이 섹션에서 연사는 ONNX 지원을 확장하고 동일한 표준의 다른 모든 라이브러리 간의 상호 운용성을 보장하는 방법으로 Python 데이터 API 표준을 채택하는 방법에 대해 논의합니다. 발표자는 표준을 채택하면 모델 교환이 더 쉬워지고 더 큰 컨소시엄과 시간 일정을 맞추는 것이 사용자가 ONNX를 사용하는 데 더 좋을 것이라고 말합니다. 또한 ONNX와 데이터 프레임과 같은 기존 데이터 구조의 차이점과 다른 라이브러리에서 동일한 표준을 채택해야 하는 필요성에 대해서도 논의합니다.
00:15:00은 ONNX를 Kuflow 파이프라인에 통합하여 최종 사용자가 ML 을 더 쉽게 개발할 수 있도록 합니다. Chen은 모든 구성 요소가 함께 작동하여 종단 간 ML 개발을 조율하는 파이프라인의 개념을 언급합니다. Kuflow는 모델 및 데이터 콘텐츠를 인프라와 결합하여 최종 사용자에게 원활한 경험을 제공합니다. Chen은 ONNX를 이 파이프라인에 통합하여 사용 범위를 넓히고 ML 개발자가 더 쉽게 사용할 수 있는 방법을 모색하고 있습니다.
00:20:00 이 섹션에서 연사는 Kubernetes 및 Kubeflow를 사용하는 사용자가 인프라 및 환경에 ONNX를 보다 쉽게 활용할 수 있도록 하는 아이디어에 대해 논의합니다. 목표는 쉽게 액세스할 수 있는 API를 개발하여 모델 동물원에서 모델을 가져오고 ONNX를 사용하여 종단 간 파이프라인을 만드는 것입니다. 연사는 ONNX를 사용하여 Kubeflow에서 기계 학습 프로세스의 추론 부분을 설명하고 데이터 처리 및 분산 교육을 포함하여 더 많은 단계를 다루기 위해 ONNX 구성 요소를 개발하기 위한 아이디어를 설명하는 예를 보여줍니다. 아이디어는 Kubernetes의 기능을 활용하는 동시에 기계 학습 프로세스의 더 많은 단계를 다루는 것입니다.
00:25:00 이 섹션에서 연사는 QFlow를 확장하여 ONNX 작업을 통해 분산 교육을 가능하게 하고 데이터 처리 및 변환을 추가하여 모델 교육 부분에 도달하는 것에 대해 논의합니다. ONNX 런타임 자체는 현재 PyTorch의 교육 변환기 모델을 지원하지만 ONNX 모델 교육을 통해 아직 진행 중인 작업이 있습니다. 연사는 모델 동물원의 모델부터 시작하여 모델을 위해 데이터를 사전 처리하고 변환하는 방법을 확인할 것을 제안하지만 이는 순전히 ONNX 핵심 프로젝트 내부가 아니며 구성 요소를 정의하기 위한 더 높은 수준의 프레임워크가 필요하다는 점에 유의하십시오. 쿨플로우처럼.
00:30:00 이 섹션에서 참가자들은 ONNX 로드맵에 대한 제안에 대해 토론하고 슬라이드를 문서에 연결할 것을 제안합니다. 그룹은 후속 회의에서 제안의 영향을 계속 평가할 계획이며 구현을 더 마무리하기를 희망합니다. 또한 피드백을 환영하고 사용자가 로드맵 또는 운영 위원회를 통해 제출하도록 권장합니다. 토론은 작별 인사와 향후 회의에 대한 초대로 끝납니다.
Netron은 신경망, 딥 러닝 및 기계 학습 모델을 보기 위한 도구입니다.
Netron 빠르게 살펴보기
Netron 빠르게 살펴보기
비디오에서 발표자는 기계 학습 모델을 보고 분석하기 위한 도구인 Netron에 대한 개요를 제공합니다. Netron은 다양한 형식을 지원하며 여러 플랫폼에 설치할 수 있습니다. 발표자는 Netron을 시작하고 여러 예제 모델을 탐색하는 방법을 보여주면서 도구의 기능과 제한 사항을 강조합니다. Netron은 더 간단한 네트워크 아키텍처를 탐색하는 데 유용하지만 발표자는 더 복잡한 모델을 시각화하기 위한 추가 기능의 이점을 누릴 수 있다고 제안합니다. 전반적으로 발표자는 기계 학습 모델을 검토하고 이해하는 데 유용한 도구로 Netron을 추천합니다.
Netron - 네트워크 시각화 도구 | 기계 학습 | 데이터 매직
Netron - 네트워크 시각화 도구 | 기계 학습 | 데이터 매직
Netron은 사용자가 딥 러닝 모델의 구조와 매개변수를 시각적으로 탐색하고 검사할 수 있도록 도와주는 Python 라이브러리입니다. 분석을 위한 샘플 모델을 제공하는 오픈 소스 라이브러리이며 설치 과정이 간단합니다. 단 두 줄의 코드로 사용자는 Netron을 설치하고 이를 사용하여 신경망 구조, 활성화 기능, 풀링 계층, 컨볼루션 계층 및 주어진 기계 학습 모델의 각 계층에서 전달되는 모든 속성을 시각화할 수 있습니다. Netron은 사용자가 시각화를 PNG 파일로 내보내고 다양한 기능과 옵션을 탐색할 수 있는 사용하기 쉬운 인터페이스를 제공합니다.
PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, AI 모델 파일 변환
[교육영상] PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, AI 모델 파일 변환
비디오의 연사는 PyTorch, TensorFlow, Keras, ONNX, TensorRT 및 OpenVINO와 같은 다양한 AI 프레임워크의 장단점에 대해 논의하고 PyTorch를 교육 및 데이터 변환을 위한 기본 프레임워크로 추천합니다. 연사는 PyTorch 모델을 ONNX로 변환한 다음 TensorRT 또는 OpenVINO로 변환하는 과정과 TensorFlow PB 파일 및 카페 사용에 대한 주의 사항을 설명합니다. 연사는 또한 부동 소수점 형식을 올바르게 설정하는 것의 중요성에 대해 논의하고 대부분의 모델에 FP 32를 사용할 것을 권장합니다. 이 비디오는 모델 변환의 예를 제공하고 시청자가 더 교육적인 비디오를 보려면 공식 웹 사이트를 방문하도록 권장합니다.
Zetane에서 ONNX를 사용하여 시행착오를 줄이면서 기계 학습 프로젝트를 더 빠르게 완료하는 방법
Zetane에서 ONNX를 사용하여 시행착오를 줄이면서 기계 학습 프로젝트를 더 빠르게 완료하는 방법
Zetane Systems의 공동 창립자이자 CTO인 Patrick Saitama는 회사의 신제품에서 ONNX를 사용하여 AI의 블랙박스 문제와 관련된 문제를 해결하는 것의 가치에 대해 설명합니다. Zetane의 엔진은 ONNX 모델의 탐색 및 검사를 허용하여 모델과 데이터의 상호 작용에 대한 통찰력을 제공하고 품질 향상을 위한 보다 결정적인 전략으로 이어집니다. 주어진 예는 Zetane의 엔진이 라디오 레이어를 검사하고 장애물이 아닌 것으로 표시된 터널 이미지를 더 추가하여 자율 열차 모델을 디버그하는 데 어떻게 도움이 되었는지 보여줍니다. Zetane 에는 내부 텐서를 동적으로 검사하고 나중에 조사하기 위해 모델의 스냅샷을 찍는 도구도 포함되어 있습니다. 또한 Zetane의 새 엔진을 사용하면 YOLOv3와 같은 더 큰 모델을 설치할 수 있습니다.
ONNX 런타임의 새로운 기능
ONNX 런타임의 새로운 기능
이 강연에서는 주목할 만한 성능 개선 사항, 기능, 모바일 및 웹을 포함한 플랫폼에 대한 세부 정보를 포함하여 ONNX Runtime 1.10-1.12 릴리스의 주요 내용을 공유합니다. Ryan Hill은 지난 4년 동안 AI 프레임워크 팀에서 근무하면서 주로 연산자 커널, C API 및 동적으로 로드되는 실행 공급자에 대해 작업했습니다. 그 전에는 Office PowerPoint 팀에서 일했는데, 그의 가장 널리 알려진 작업은 많은 슬라이드쇼 슬라이드 전환입니다. 재미로 그는 최신 C++ 기능을 사용하고 내부 컴파일러 오류를 치는 것을 좋아합니다.비디오에서 소프트웨어 엔지니어 Ryan Hill은 여러 CPU 아키텍처를 대상으로 할 수 있는 널리 사용되는 교차 플랫폼 런타임인 ONNX Runtime의 다양한 기능과 업데이트에 대해 설명합니다. 그는 OP 커널을 직접 호출하는 기능과 같은 ONNX Runtime에 추가된 최신 기능과 전치 최적화 프로그램 및 작은 크기 최적화와 같은 성능 향상을 강조합니다. Hill은 또한 다양한 하드웨어에서 최적의 성능을 가능하게 하는 ONNX Runtime의 실행 공급자와 런타임 시 NHWC 변환을 지원하는 모바일 패키지 릴리스에 대해 이야기합니다. 비디오는 또한 레이아웃에 민감한 연산자 지원, 플랫폼 간 앱에 대한 Xamarin 지원, ONNX Runtime 웹, 텍스트 변환 및 수학 연산을 포함하여 모델 전처리 작업에 중점을 둔 ONNX Runtime 확장 라이브러리를 다룹니다. NLP, 비전 및 텍스트 도메인.
v1.12.0 ONNX 런타임 - 릴리스 검토
v1.12.0 ONNX 런타임 - 릴리스 검토
ONNX Runtime(ORT)의 v1.12.0 릴리스는 추론에 중점을 두지만 Hugging Face Optimum과의 통합으로 인해 여러 Hugging Face 모델의 가속화를 통해 교육에 대한 지속적인 투자도 포함합니다. 새로운 기능에는 사용자 지정 작업에서 기본 ORT 작업을 사용하고 그래프를 작성하지 않고 기본 또는 런타임 연산자를 직접 호출하는 기능이 포함됩니다. 이 릴리스에는 .NET 6 및 다중 플랫폼 앱 UI(MAUI)에 대한 지원과 Android의 Neural Processing Unit 및 iOS의 Core ML과 같은 특정 플랫폼에 대한 실행 공급자도 포함됩니다. 추론 중 메모리 할당을 줄이고 불필요한 로깅을 제거하여 성능이 향상되었습니다. 캐시 지역성과 스레드 풀 활용도를 향상시키기 위한 향후 개선이 계획되어 있습니다.
v1.13 ONNX 런타임 - 릴리스 검토
v1.13 ONNX 런타임 - 릴리스 검토
ONNX 런타임 버전 1.13은 최근 보안 패치, 버그 수정 및 성능 향상과 함께 출시되었습니다. 이 업데이트는 GPU 양자화를 위한 Transformer 모델 최적화에 중점을 두고 있으며 장치에 구애받지 않고 150개 이상의 연산자를 지원하는 직접 ML 실행 공급자에 대한 지원을 추가합니다. 또한 이 릴리스에는 XNN 팩과 같은 새로운 EPS와의 호환성을 위해 ORT 모바일 인프라에 대한 업데이트가 포함되어 있습니다. 양자화를 사용하여 Transformer 기반 모델의 성능을 개선하는 방법에 대해서도 설명합니다. 양자화된 BERT 모델을 실행하기 위한 CUDA 실행 공급자의 최적화와 ONNX 런타임 실행 엔진을 최적화하면서 정확도를 최대화하기 위한 양자화된 인식 교육의 사용에 대해서도 설명합니다.
ONNX 런타임(ORT)이란 무엇입니까?
ONNX 런타임(ORT)이란 무엇입니까?
ONNX Runtime(ORT)은 기계 학습 추론을 최적화하고 가속화하는 라이브러리로, 사용자가 지원되는 모든 기계 학습 라이브러리에서 모델을 훈련하고 ONNX 형식으로 내보내고 원하는 언어로 추론을 수행할 수 있도록 합니다. 발표자는 ONNX Runtime과 함께 PyTorch를 사용하여 추론을 수행하는 예를 강조하고 사용자가 ONNXRuntime.ai를 방문하여 원하는 설정에 필요한 다양한 API와 도구를 탐색할 수 있다고 지적합니다.
2020 ONNX 로드맵 논의 #1 20200903
2020 ONNX 로드맵 논의 #1 20200903
대중의 기여에 공개된 ONNX 로드맵 문서가 이 비디오의 핵심 주제입니다. 이 토론에서는 데이터 진화, 사전 처리, ONNX를 QFLO와 같은 수평 파이프라인으로 확장하는 것을 포함하여 기계 학습 파이프라인에서 ONNX를 확장하는 방법을 다룹니다. 기여자들의 제안에는 데이터 프레임 지원 및 사전 처리를 위한 새로운 연산자 채택이 포함됩니다. 연사는 또한 ONNX의 지원을 확장하고 다른 라이브러리 간의 상호 운용성을 보장하기 위한 Python 데이터 API 표준의 채택에 대해 논의합니다. 또한 연사는 ONNX를 Kubernetes 및 Kubeflow에 통합하여 사용자를 위한 ML 개발을 간소화하는 방법에 대해 논의합니다. 그룹은 제안의 영향을 계속 평가할 계획이며 로드맵 또는 운영 위원회를 통해 피드백을 환영합니다.