이 비디오에서 Huawei의 Shivan Wang은 추론을 위해 ONNX의 기능을 Spark에 제공하는 방법을 설명합니다. 그는 Spark에 DL 모델을 배포하는 데 따르는 어려움과 Spark 커뮤니티가 프로세스를 단순화하기 위해 어떻게 Spip이라는 제안을 시작했는지에 대해 설명합니다. 연사는 또한 Huawei의 AI 프로세서, Ascent 및 여러 Ascent 프로세서 모델과 Atlas 하드웨어를 포함하는 Ascent AI 에코시스템에 대해 논의합니다. 그는 모델 변환 없이 Ascent 하드웨어에서 직접 ONNX 모델을 사용하기 위해 다음 런타임에 Con을 새로운 실행 공급자로 추가할 것을 제안합니다. 마지막으로 그는 ONNX의 기능을 Spark에 제공하기 위한 POC 코드가 거의 완성되었으며 관심 있는 사용자가 토론 메시지를 남기고 잠재적으로 테스트 목적으로 리소스를 제공할 수 있음을 환영합니다.
00:00:00 이 섹션에서는 Huawei의 Shivan Wang이 추론을 위해 Onyx의 성능을 Spark로 가져오는 방법에 대해 설명합니다. 그는 잘 정의된 데이터 프레임 추론 인터페이스가 데이터를 쉽게 로드하고 기능 엔지니어링을 완료할 수 있는 데이터 엔지니어에게 매우 친숙하다고 설명합니다. 그러나 AI 프레임워크와 내부 사전 샘플 사이에는 격차가 있어 Spark에 DL 모델을 배포하기가 어렵습니다. 프로세스를 단순화하기 위해 Spark 커뮤니티는 Spip이라는 제안에 대한 토론을 시작했습니다. 이 제안은 Spark 및 AI 프로세스가 소형 셀에 영향을 미치도록 하는 간단한 API를 제공합니다. 마지막으로 Spark 실행기에서 Onyx 추론을 실행함으로써 사용자는 Onyx 추론 플랫폼의 도움으로 빅 데이터에 대한 Onyx 영향을 쉽게 완료할 수 있습니다.
00:05:00 이 섹션에서 발표자는 Ascent라는 Huawei의 AI 프로세서와 여러 Ascent 프로세서 모델 및 Atlas 하드웨어를 포함하는 Ascent AI 에코시스템에 대해 논의합니다. Ascent 생태계의 소프트웨어 계층은 Cam이라고 하며 개발자가 Ascent 플랫폼 기반 서비스에서 AI 애플리케이션을 빠르게 구축할 수 있도록 API를 제공합니다. 다른 하드웨어에서 ONNX 모델을 실행하려면 사용자는 먼저 Con에서 제공하는 모델 변환 도구를 사용하여 모델을 ONNX에서 Ascent로 변환해야 합니다. 그러나 발표자는 사용자가 모델 변환 없이 Ascent 하드웨어에서 직접 ONNX 모델을 사용할 수 있도록 다음 런타임에 Con을 새로운 실행 공급자로 추가하는 것이 더 나은 솔루션이라고 제안합니다. 그들은 올해 말까지 모든 ONNX 운영자 지원을 완료하고 ONNX 모델 Zoo의 모든 모델이 Ascent에서 잘 작동하도록 보장하고 내년에 추가 개발을 진행할 계획입니다.
00:10:00 이 섹션에서 발표자는 ONNX의 기능을 Spark에 제공하기 위한 POC 코드가 거의 완성되었으며 추가 작업과 같은 기본 작업이 올바르게 실행될 수 있다고 언급합니다. 또한 관심 있는 사용자를 초대하여 토론할 메시지를 남기고 잠재적으로 테스트 목적으로 리소스를 제공합니다. 시청해 주신 시청자에게 감사 인사를 전하며 섹션을 마무리합니다.
Both data processing platforms and deep learning frameworks are evolving in their own fields. Usually, Spark is used for offline data processing, and then va...
이 동영상은 ONNX를 사용하여 Colab에서 프로덕션으로 프로젝트를 배포하는 과정을 보여줍니다. 발표자는 전처리 신호, 배포를 위한 코드 수정, AWS Lambda에서 핸들러 생성, 웹 사이트에서 오디오 입력 수락, S3에 함수 업로드, ONNX에 대한 종속성 배포와 같은 다양한 측면을 다룹니다. 약간의 어려움에도 불구하고 화자는 AWS를 사용하여 모델을 성공적으로 배포하고 브라우저 로드 base64 파일 개체 또는 사운드 파일 읽기 바이트를 향후 단계에 사용할 수 있다고 제안합니다.
또한 이 비디오는 SimCLR 모델을 오디오의 대조 학습에 사용하고, 노래를 모델에 공급하여 노래 카탈로그를 만들고, k=1에서 무손실 및 회수를 달성하기 위해 PyTorch로 노래를 교육하는 방법을 보여줍니다. 발표자는 프로덕션에서 PyTorch를 사용하는 문제에 대해 논의하고 솔루션으로 ONNX를 제안합니다. 이 비디오는 PyTorch 모델을 ONNX 형식으로 내보내고 로드하고 추론을 실행하는 방법을 보여줍니다. 또한 Torch 오디오 및 Numpy 라이브러리를 사용하여 오디오 파일을 처리하는 방법을 보여주고 배포를 위해 PyTorch 모델을 설정할 때 발생하는 문제를 해결합니다. 이 동영상은 모델을 Colab 노트북 개발에서 프로덕션 환경으로 전환하는 방법에 대한 통찰력을 제공합니다.
00:00:00 이 섹션에서 발표자는 SimCLR 모델을 사용하여 시각적 표현의 대조 학습을 위한 간단한 프레임워크에 대해 논의합니다. 여기에는 이미지에 적용된 다양한 변형 세트에서 두 가지 무작위 변형을 샘플링하여 두 가지 다른 이미지(x 물결표 i 및 x 물결표 j), 인코더(resnet 50)로 전달되어 투영 함수(MLP)에 전달된 두 벡터(hi 및 hj)를 제공하여 두 투영(zi 및 zj)을 반환합니다. 목표는 모델의 두 예측의 출력이 서로 매우 근접하도록 f 및 g를 학습하기 위해 대조 손실을 사용하여 두 예측의 코사인 유사성을 최대화하는 것입니다. 화자는 이 프레임워크를 오디오에 적용합니다. 여기서 입력은 이미지가 아니라 스펙트로그램으로 변환된 신호이며, 저역 통과 필터를 사용하여 다양한 변환 중 하나로 재생 속도를 변경합니다.
00:05:00 이 섹션에서 발표자는 양수 쌍과 음수 쌍의 합을 포함하는 교차 엔트로피 손실인 모델에 사용된 NT_Xent 손실의 구현에 대해 설명합니다. 그들은 또한 교육 데이터와 동일한 테스트 데이터를 사용하고 메트릭으로 k에서의 회수율을 사용하여 평가 중에 약간의 부정 행위에 대해 이야기합니다. 마지막으로 그들은 Lightning이라는 웹사이트에서 손실 기능 구현을 발견했고 더미 데이터에서 테스트했을 때 잘 작동했다고 언급했습니다.
00:10:00 이 섹션에서 발표자는 각 노래를 나타내는 벡터 세트를 얻기 위해 노래를 모델에 공급하여 노래 카탈로그를 만든 다음 해당 제목, 오디오 신호 및 인덱스 표현. 그런 다음 기능과 카탈로그 인덱스의 내적을 취하여 유사성을 계산하고 벡터를 정규화하고 k에서 재현율을 계산하여 가장 일치하는 항목을 결정했습니다. 그들은 PyTorch에서 일반 교육 루프를 사용하고 LARS 최적화 프로그램을 추가하여 모델이 0 손실로 수렴하고 k가 1일 때 재현율을 달성하도록 도왔습니다. 즉, 올바른 노래를 일관되게 예측했습니다. 그런 다음 발표자는 프로덕션에서 PyTorch를 사용하는 문제에 대해 논의하고 다른 프레임워크와 원활하게 통합하고 다른 장치에 배포할 수 있는 형식인 ONNX를 사용하는 솔루션을 제시합니다.
00:15:00 이 섹션에서 발표자는 클라우드에서 호스팅하기 위해 PyTorch 및 TensorFlow와 같은 다른 프레임워크에서 모델을 가져올 수 있는 가벼운 추론 프레임워크인 ONNX의 사용에 대해 논의합니다. 화자는 ONNX를 활용하여 오디오 데이터에 대한 추론을 실행하고, 오디오에서 스펙트로그램을 가져오고, 스펙트로그램에서 모델을 실행하고, 예측과 함께 JSON 객체를 반환하는 Python 처리기 기능을 구축하려고 합니다. 발표자는 ONNX를 사용하려면 모델을 .onnx 파일 확장자로 저장해야 한다고 언급하고 모델을 PyTorch에서 ONNX로 내보내는 프로세스를 설명합니다.
00:20:00 이 섹션에서 발표자는 torch.one 및 x.export 기능을 사용하여 PyTorch에서 ONNX 형식으로 모델을 내보내는 방법을 설명합니다. 더미 입력을 사용하면 ONNX 형식이 입력 파일의 예상 모양을 이해할 수 있으며 출력 및 입력 이름은 사전 또는 JSON 개체를 사용하여 지정됩니다. 발표자는 현재 타임스탬프가 있는 simclr이라는 모델을 내보내는 예를 제공하고, 내보내기 매개변수를 사용하여 모델 파일 내부에 기차 매개변수 가중치를 저장하고, 모델의 타임스탬프를 검색하기 위해 람다 함수를 추가하는 방법을 보여줍니다.
00:25:00 비디오 제작자가 ONNX를 사용하여 모델에서 추론을 로드하고 실행하는 방법을 탐색하는 새 섹션을 시작합니다. 추론 세션 생성 및 모델 경로에서 모델 로드에 대해 설명합니다. 작성자는 모델을 API에 통합할 계획이지만 핸들러에서 오디오를 가져오는 방법을 잘 모릅니다. 그들은 base 64를 사용하는 것을 고려하고 그것을 테스트하기 위해 새 파일을 만듭니다. 그런 다음 모델을 로드하지 않고 추론을 실행하는 방법에 대해 논의하고 대신 여기에 집중하기로 결정합니다.
00:30:00 이 섹션에서 발표자는 numpy 배열을 사용하는 대신 토치 오디오를 사용하도록 코드를 수정하는 방법에 대해 설명합니다. 화자는 토치 오디오를 사용할 수 있음을 발견하고 이를 설치하여 앞으로 나아갑니다. 그런 다음 입력 및 출력 이름 수정에 대해 논의하고 라이브러리에 대한 코사인 유사성을 수행하기 위해 출력 "프로젝션"을 호출합니다. 라이브러리는 화자가 코사인 유사성 계산에 사용하려는 제목 배열, 파형 배열 및 프로젝션 배열이 있는 JSON 개체로 설정됩니다.
00:35:00 이 섹션에서는 화자가 코드를 작성하고 프로세스를 큰 소리로 설명하는 모습을 볼 수 있습니다. 그들은 음악 라이브러리에서 노래 목록을 정렬하는 스크립트를 작성하고 그 과정에서 행렬 곱셈, 유사성 및 정렬 알고리즘과 같은 다양한 기술을 논의합니다. 발표자는 또한 JSON 라이브러리를 로드하여 스크립트에서 활용합니다. 이 비디오는 ONNX 프레임워크를 사용하여 공동 작업에서 프로덕션까지 소프트웨어 구축에 대한 시리즈의 일부입니다.
00:40:00 이 섹션에서 발표자는 ONNX를 사용하여 카탈로그를 생성하고 JSON 형식으로 저장하는 방법을 보여줍니다. 카탈로그는 배열로부터 생성되며, 프리젠터는 `dump()` 함수를 사용하여 카탈로그를 JSON 파일로 덤프하기 전에 모양을 확인합니다. 이어지는 오류는 `카탈로그`를 `라이브러리`의 복사본으로 변경하여 해결됩니다. 그런 다음 발표자는 `tolist()` 메서드를 사용하여 배열을 목록으로 변환하고 JSON 파일을 다운로드합니다. 마지막으로 발표자는 `load()` 함수를 사용하여 저장된 JSON 파일을 로드하는 방법을 보여줍니다.
00:45:00 이 섹션에서 발표자는 Python의 Torch Audio 및 Numpy 라이브러리를 사용하여 파일 경로에서 오디오 파일을 처리하는 접근 방식에 대해 설명합니다. 그들은 Torch Audio를 다운로드했으며 "신호 전처리" 방법을 사용하여 오디오 파일을 리샘플링하고 전처리할 것이라고 설명합니다. 그런 다음 Numpy의 평균 함수를 사용하여 치수를 유지하면서 처리된 신호의 평균을 계산한 다음 np.pad를 사용하여 신호를 패딩합니다. 전반적으로 화자는 처리 방법에 대한 명확하고 간결한 설명을 제공합니다.
00:50:00 비디오의 이 섹션에서 화자는 함수를 사용하여 파형의 스펙트로그램을 가져오려고 합니다. 그러나 대상 샘플 속도를 인식하지 못하고 오류 메시지가 표시되는 기능에 몇 가지 문제가 있는 것 같습니다. 스피커는 테스트 클립을 사용하여 문제 해결을 시도하고 예상하지 못한 출력을 반환하는 스펙트로그램의 모양을 인쇄합니다. 입력 문제인지 모델 문제인지 여부에 관계없이 문제를 일으키는 원인이 정확히 무엇인지는 확실하지 않습니다.
00:55:00 이 섹션에서 발표자는 배포를 위해 PyTorch 모델을 설정하려고 시도하는 동안 나타난 일부 오류 메시지를 평가하고 Torch 패키지의 크기 및 호환되지 않는 종속성 문제를 식별합니다. 그들은 Torch Audio로 로드된 파일이 1GB 이상의 메모리가 필요하다고 지정하여 대용량 파일 입력이 있는 모델을 실행할 때 잠재적으로 문제를 일으킬 수 있다는 점에 주목합니다. 이를 해결하기 위해 그들은 대신 librosa로 파일을 로드하고 주파수 및 파일 로드와 같은 사양을 변환할 때 Torch 오디오를 교체할 것을 제안합니다. 전반적으로 이 섹션에서는 모델을 Colab 노트북 개발에서 프로덕션 환경 배포로 전환할 때 발생할 수 있는 몇 가지 문제를 강조하는 데 중점을 둡니다.
01:00:00 이 섹션에서 화자는 Torch와 Torch 오디오를 설치하여 여전히 500MB 미만의 작은 크기의 프로젝트를 계속 구축합니다. Librosa와 리샘플링을 사용하여 신호가 원래 샘플링 속도와 목표 샘플링 속도로 반환되도록 합니다. 그들은 스크립트를 실행할 때 약간의 오류가 발생하고 결과가 이상하지 않도록 서로 다른 채널을 혼합해야 함을 깨닫습니다. 그들은 프로젝트가 예상대로 작동하는지 확인하기 위해 문제 해결을 계속합니다.
01:05:00 이 섹션에서 스피커는 신호 전처리 작업을 수행하고 다른 채널을 로드합니다. 그들은 신호에 하나의 채널만 있고 두 번 이상 확장해야 하는 문제에 직면합니다. 스피커는 numpy 및 squeeze expand dims를 사용하여 문제를 해결하고 궁극적으로 변경 사항을 커밋합니다.
01:10:00 이 섹션에서 발표자는 요청을 처리한 다음 추론을 실행하는 기능인 SpeakFluent REST API의 배포를 허용하도록 코드를 수정하고 있습니다. 그들은 오디오 파일과 파일 이름이 있는 요청을 가져오도록 처리기를 수정한 다음 파일을 로컬에 저장합니다. Torch 없이 ONNX 런타임을 사용하여 추론을 실행한 다음 가장 일치하는 항목을 반환합니다.
01:15:00 이 섹션에서 발표자는 현재 노래 제목 배열과 해당하는 가장 일치하는 제목을 반환하는 응용 프로그램의 소스 Python 처리기에 대해 설명합니다. 연사는 또한 S3 버킷에 대한 URI 반환과 최상의 일치에 대한 일치 비율을 포함하는 핸들러의 향후 추가 사항에 대해서도 언급합니다. 발표자는 잠시 휴식을 취하고 AWS Lambda 함수에 업로드 및 배포할 수 있는 실제 핸들러 구축으로 돌아올 계획입니다.
01:25:00 동영상의 이 섹션에서 발표자는 스크립트와 이벤트를 사용하여 AWS Lambda에서 핸들러를 생성하는 방법을 설명합니다. Lambda 핸들러는 요청이 아닌 이벤트를 수신하도록 설계되었으며 이벤트에서 양식의 오디오 부분을 수신합니다. 발표자는 프로세스에 프런트 엔드에서 양식을 만들고 오디오 입력에서 ID를 가져오는 작업이 포함된다고 설명합니다.
01:30:00 비디오의 이 섹션에서는 개발자가 Javascript를 사용하여 웹 사이트에서 오디오 입력을 수락하고 처리를 위해 파일을 서버에 업로드하는 프로세스에 대해 설명합니다. 개발자는 웹사이트에 녹화 버튼을 추가하고 자바스크립트를 이용해 파일을 만들어 서버에 자동으로 업로드할 것이라고 설명한다. 그런 다음 업로드된 파일에서 추론을 호출하고 JSON.dumps를 사용하여 본문과 함께 200 상태 코드를 반환하는 방법에 대해 논의합니다. 또한 개발자는 효율성 향상을 위해 파일 대신 오디오의 base64 인코딩을 사용하는 것을 고려합니다. Lambda 런타임을 사용하여 AWS에서 Python으로 ONNX 추론을 실행하는 프로세스를 탐색합니다.
01:35:00 이 섹션에서 발표자는 S3에 함수를 업로드하고 Diva라는 프로젝트를 위해 처음부터 새 함수를 만드는 과정에 대해 설명합니다. 화자는 그 과정에서 짜증을 내지만 Python 3.9를 사용하여 새 함수를 만들고 ARM의 차이점에 대해 토론하고 함수에 직접 파일을 업로드하는 것도 고려합니다.
01:40:00 이 섹션에서 발표자는 Cloud Functions 대시보드를 탐색하고 zip 파일을 업로드하고 이벤트 형식을 JSON으로 변경하고 새 이벤트를 만드는 방법을 시연합니다. 또한 메모리 및 환경 변수에 대한 추가 구성의 필요성에 대해서도 논의합니다. 그런 다음 스피커는 base64 오디오로 녹음을 추가하려고 시도하지만 사용 가능한 옵션에 문제가 발생합니다.
01:45:00 이 섹션에서 화자는 큰 JSON 파일을 복사하여 붙여넣고 AWS Lambda 배포 패키지로 저장하는 것으로 보입니다. 그들은 다른 방법을 사용하고 싶다고 언급했지만 궁극적으로 이를 제거하고 대신 Lambda 핸들러를 사용하기로 결정했습니다. 그러나 몇 가지를 설치하고 AWS에 패키지를 업로드하는 방법을 찾아야 합니다. 또한 내보내기 기능에 대해서도 논의합니다.
01:50:00 이 섹션에서는 발표자가 오픈 소스 모델 관리 프로젝트인 ONNX에 필요한 종속성을 컴파일하고 배포하는 단계에 대해 설명합니다. 그들은 호환성 문제를 피하기 위해 Lambda와 유사한 환경에서 컴파일하는 것이 중요하다고 설명하고 ONNX 런타임 폴더를 찾아 배포 패키지에 복사할 것을 제안합니다. 이 프로세스는 "고약한" 것으로 간주될 수 있지만 발표자는 코드가 제대로 작동하는지 확인하는 데 필요하다고 설명합니다. 그런 다음 librosa, scipy 및 numpy를 포함하여 필요한 종속성을 나열하고 최대 200MB가 될 수 있는 배포 패키지의 크기에 대해 논의합니다.
01:55:00 이 섹션에서 발표자는 AWS로 모델을 배포하기 위해 수행해야 하는 단계에 대해 설명합니다. 가벼운 Lambda 핸들러를 생성하고 AWS 제한으로 배포하는 방법을 파악하고 50MB보다 크기 때문에 S3에 저장할지 여부를 결정해야 합니다. 다음 단계는 파일 대신 base64 오디오 개체를 가져오도록 처리 기능을 업데이트하는 것이며 화자는 이를 달성하기 위해 브라우저 로드 base64 파일 개체 또는 사운드 파일 읽기 바이트를 사용하는 것을 고려합니다. 그들은 그렇게 할 수 있다고 생각한다고 말하면서 결론을 내립니다.
Last week, we built a Shazam clone using Self-supervised learning (SimCLR).Let's get the model out of Colab and run inference in production with ONNX!I have ...
이 비디오는 Optimum, OpenVINO, ONNX Runtime 및 Azure의 조합을 보여 주어 개발자의 워크플로를 단순화하고 모델의 정확성과 속도를 개선합니다. 연사는 도우미 기능, ONNX Runtime 및 OpenVINO Execution Provider를 사용하여 딥 러닝 모델을 최적화하는 방법을 시연합니다. 또한 Neural Network Compression Framework에서 양자화를 사용하여 껴안는 얼굴 모델을 최적화하는 방법을 보여주고 Azure ML, Optimum, ONNX Runtime 및 OpenVINO를 사용하여 교육 및 추론 프로세스를 설명합니다. 시연은 정확도 손실을 최소화하면서 모델의 성능을 개선하는 이러한 도구의 힘을 강조합니다.
00:00:00 비디오의 이 섹션에서 Cassie는 Intel 담당자와 OpenVINO 툴킷 및 Onyx 런타임에 대해 이야기합니다. OpenVINO 툴킷은 인텔 하드웨어용으로 특별히 설계된 고급 최적화 기술을 사용하여 딥 러닝 모델의 성능을 향상시킵니다. Onyx 런타임 라이브러리와 인스턴트 세션 코드 라인에 대한 간단한 수정을 통해 개발자는 Intel의 OpenVINO 실행 공급자를 사용하여 Onyx 모델의 추론을 가속화할 수 있습니다. 비디오에 표시된 데모는 Intel CPU에서 인기 있는 딥 러닝 모델인 YOLO V7의 가속화된 성능을 보여줍니다.
00:05:00 비디오의 이 섹션에서 발표자는 사전 처리를 수행하고 특정 레이블에 색상 값을 할당하고 이미지를 읽고 다시 처리하기 위해 데모에서 사용된 다양한 도우미 기능에 대해 설명합니다. 이 데모는 ONNX Runtime을 활용하여 추론 세션을 만들고 추론 작업을 실행하고 OpenVINO Execution Provider를 사용하여 Intel CPU에서 딥 러닝 모델의 속도를 높입니다. ONNX 및 OpenVINO 라이브러리 설치, ONNX Runtime 라이브러리 가져오기 및 OpenVINO 공급자 설정과 관련된 코드 줄을 간단하게 수정하여 프로세스가 간소화되었습니다. 연사는 또한 ONNX 모델이 메모리 내 그래프 표현으로 변환되고 백엔드 쿼리를 위해 Graph Practitioner로 이동하는 방법에 대한 간략한 아키텍처 개요를 제공합니다.
00:10:00 이 섹션에서는 연사가 신경망 압축 프레임워크에서 양자화를 사용하여 포옹하는 얼굴 모델을 최적화하는 방법에 대해 논의합니다. Optimum Intel 및 OV Config를 사용하여 교육 중에 양자화를 활성화하는 방법을 보여주는 코드 예제를 살펴봅니다. 또한 개발자와 고객이 복잡한 활동을 보다 효율적으로 수행할 수 있도록 데이터 준비, 모델 교육, 추론, 배포 및 자동화를 통합하는 AI 워크플로를 선보입니다. 발표자는 더 나은 성능을 위해 Azure ML을 사용하여 이러한 워크플로를 지원하는 방법을 보여줍니다.
00:15:00 비디오의 이 섹션에서 연사는 Azure ML, Optimum, ONNX Runtime 및 OpenVINO를 사용한 교육 및 추론 프로세스에 대해 설명합니다. 교육 파이프라인에 사용되는 파일 및 스크립트와 작업을 Azure ML에 제출하는 방법에 대해 논의하는 것으로 시작합니다. 그런 다음 추론 스크립트와 그것이 ONNX Runtime 및 OpenVINO 실행 공급자를 활용하는 방법에 대해 논의합니다. 발표자는 모델의 양자화 및 훈련에 대한 F1 점수 결과에 대한 세부 정보를 제공하여 이 과정에서 약간의 정확도 손실만 있음을 보여줍니다. 전반적으로 이 섹션에서는 이러한 기술을 사용한 교육 및 추론 프로세스에 대한 자세한 개요를 제공합니다.
00:20:00 이 섹션에서 발표자는 Netron을 통해 시각화된 fp32 원본 모델과 int 8 최적화 모델을 보여줌으로써 양자화 프로세스가 어떻게 작동하는지 보여줍니다. 또한 Azure ML 및 OpenVINO를 활용하여 교육 및 유추 프로세스 중에 정확도와 성능을 개선하는 방법에 대해서도 설명합니다. 그들은 ONNX Runtime을 사용하여 성능을 더욱 최적화하고 개선한다고 언급하고 시청자가 코드와 블로그 게시물에서 자세한 내용을 확인하도록 권장합니다. 전반적으로 데모는 개발자의 작업 흐름을 단순화하고 모델의 정확성과 속도를 향상시키기 위해 여러 도구를 결합하는 능력을 보여줍니다.
Devang Aggarwal, and Akhila Vidiyala from Intel join Cassie Breviu to talk about Intel OpenVINO + ONNX Runtime. We'll look at how you can optimize large BERT...
이 비디오에서는 ONNX Runtime용 OpenVINO Execution Provider에 대해 설명합니다. 다양한 인텔 컴퓨팅 장치에 딥 러닝 모델을 배포할 수 있는 크로스 플랫폼 머신 러닝 모델 가속기입니다. Intel 하드웨어에 최적화된 OpenVINO 툴킷을 사용하고 공급자를 코드에서 OpenVINO Execution Provider로 설정함으로써 개발자는 고급 최적화 기술로 ONNX 모델의 추론을 가속화할 수 있습니다. 비디오는 논의된 도구를 활용하는 데 필요한 수정의 단순성을 강조합니다.
Join Ragesh in his interview with Devang Aggarwal, a product manager at Intel with Intel’s OpenVINO™ AI framework engineering team doing work around deep lea...
이 비디오에서는 Microsoft 클라우드 및 AI 그룹의 Emma가 ONNX(Open Neural Network Exchange) 및 다양한 하드웨어에서 ONNX 모델을 추론하기 위한 고성능 엔진인 ONNX Runtime에 대해 설명합니다. Emma는 ONNX Runtime INT8 양자화가 제공할 수 있는 모델 크기의 상당한 성능 향상 및 감소와 정확성의 중요성에 대해 설명합니다. 그녀는 ONNX Runtime INT8 양자화의 엔드투엔드 워크플로를 시연하고 PyTorch 양자화를 사용한 기본 모델의 결과를 제시합니다. 또한 Emma는 클라우드에서 클라이언트로 모델 유추를 최적화하는 ONNX Runtime의 기능과 기본적으로 Android 및 iOS 플랫폼 모두에서 300KB 미만의 크기를 달성할 수 있는 방법에 대해 설명합니다.
00:00:00 이 섹션에서는 Microsoft 클라우드 및 AI 그룹의 AI 프레임워크 팀 선임 프로그램 관리자인 Emma가 AI 소프트웨어 스택에서 ONNX 및 ONNX Runtime의 역할에 대해 설명합니다. Open Neural Network Exchange의 약자인 ONNX는 기존 기계 학습 모델과 딥 러닝 신경망을 모두 나타내는 표준 형식입니다. ONNX Runtime은 다양한 하드웨어에서 ONNX 모델을 추론하기 위한 고성능 엔진입니다. ONNX 변환기 및 ONNX 런타임은 ONNX 변환기 도구를 사용하여 모든 프레임워크에서 켤 수 있는 ONNX 모델을 운영하는 워크플로의 주요 부분입니다. PyTorch, TensorFlow 및 Caffe를 포함하여 ONNX를 지원하는 널리 사용되는 프레임워크가 많이 있습니다.
00:05:00 이 섹션에서는 ONNX Runtime의 이점과 기능에 대해 설명합니다. ONNX Runtime은 CPU, GPU 및 VPU에 대한 다양한 언어 및 하드웨어 가속을 위한 API를 제공하는 ONNX 모델용 고성능 추론 엔진입니다. ONNX Runtime은 또한 개방적이고 확장 가능하여 기계 학습 추론을 쉽게 최적화하고 가속화할 수 있습니다. 이미 여러 내부 및 외부 플랫폼에 통합되었으며 많은 주력 제품에 전원을 공급하고 있습니다. ONNX Runtime의 최신 기능 중 가장 흥미로운 기능 중 하나는 CPU용 INT8 양자화로, 더 낮은 비트로 부동 소수점 수를 근사화하고 모델 크기 메모리를 줄이고 성능을 향상시킵니다. 다양한 모델 및 하드웨어에 대한 벤치마크 결과는 ONNX Runtime을 사용하여 상당한 속도 향상을 보여줍니다.
00:10:00 이 섹션에서 발표자는 ONNX Runtime INT8 양자화의 상당한 성능 향상에 대해 논의합니다. 이 양자화는 추론 성능을 대형 머신에서 최대 3배, 소형 머신에서 약 60%까지 가속화하고 모델을 줄일 수 있습니다. 거의 4배 크기. 발표자는 또한 정확도의 중요성을 강조하고 ONNX Runtime 양자화 모델이 일반적인 NLP 작업에서 FP32 모델과 유사한 정확도를 유지할 수 있는 방법의 예를 제공합니다. 그런 다음 연사는 모델을 ONNX 형식으로 변환하고 양자화 도구를 사용하여 INT8 모델을 얻은 다음 ONNX Runtime에서 추론을 수행하는 ONNX Runtime INT8 양자화의 종단 간 워크플로를 시연합니다. 마지막으로 발표자는 PyTorch 양자화를 사용한 기준 모델의 결과를 제시하고 Hugging Face의 토큰화 및 평가 기능을 사용하여 성능을 평가합니다.
00:15:00 이 섹션에서는 스피커가 모델 성능 및 크기를 최적화하기 위한 ONNX Runtime 양자화 프로세스에 대해 논의합니다. 이 프로세스에는 양자화 이전의 최적화 단계가 포함되며 이는 변환기 모델에만 필요합니다. 일단 최적화되면 ONNX Runtime의 양자화 API를 사용하여 모델을 8비트 형식으로 양자화할 수 있으므로 모델 크기가 훨씬 작아집니다. 성능 및 정확도 결과는 ONNX Runtime 양자화가 F1 점수 측면에서 PyTorch 양자화를 능가함을 보여줍니다. ONNX Runtime의 또 다른 흥미로운 기능은 스마트폰 및 에지 장치에서 온디바이스 추론을 위한 런타임 크기를 최소화하는 기능입니다.
00:20:00 이 섹션에서는 클라우드에서 클라이언트로 모델 유추를 최적화하는 ONNX Runtime의 기능에 대해 설명합니다. ONNX Runtime 모바일에는 두 가지 주요 기술이 사용됩니다. ONNX Runtime 형식이라는 새로운 최적화된 형식의 도입과 사전 정의된 모델에만 필요한 연산자로 ONNX Runtime을 빌드하여 런타임 크기를 줄이는 것입니다. 이렇게 하면 사용하지 않는 연산자를 제거하여 런타임 크기를 크게 줄여 자체 장치 추론에 더 적합하고 메모리 요구 사항을 충족할 수 있습니다. 핵심 ONNX Runtime 모바일 패키지는 기본적으로 Android 및 iOS 플랫폼 모두에서 300KB 미만의 크기를 달성할 수 있습니다. ONNX Runtime은 GitHub 리포지토리에서 사용할 수 있는 자습서 및 예제가 포함된 오픈 소스 프로젝트입니다.
ONNX Runtime is a high-performance inferencing and training engine for machine learning models. This show focuses on ONNX Runtime for model inference. ONNX R...
T5 변환기 모델을 ONNX로 변환하고 양자화를 구현하면 모델 크기를 3배 줄이고 추론 속도를 최대 5배 높일 수 있습니다. 이는 대기 시간이 1초 미만인 CPU에 T5와 같은 질문 생성 모델을 배포하는 데 특히 유용합니다. 또한 Gradio 앱은 모델에 시각적으로 매력적인 인터페이스를 제공합니다. Huggingface의 T5 변환기 모델이 활용되고 FastT5 라이브러리가 ONNX 및 양자화에 사용됩니다. 이러한 최적화를 구현하면 이러한 시스템의 생산 배포에 상당한 비용 절감 효과를 얻을 수 있습니다.
Question Generation using NLP course link: https://bit.ly/2PunWiWThe Colab notebook shown in the video is available in the course.With the conversion of T5 t...
이 텍스트는 기계 학습 및 배포의 다양한 측면을 다룹니다. 데이터 과학의 발전, 프레임워크 호환성 문제, 모델 배포를 위한 Azure AI 및 ONNX Runtime 사용, ML 환경 생성 및 ONNX Runtime의 제한 사항에 대해 설명합니다. 발표자는 ONNX의 표준화와 여러 프레임워크에 대한 지원을 강조하여 서로 다른 하드웨어에 대해 더 쉽게 최적화할 수 있도록 합니다. 이 비디오는 또한 하드웨어 기본 설정에 대한 벤치마크가 없으며 ONNX의 한계를 극복하기 위해 여러 도구를 사용해야 한다고 언급합니다.
00:00:00 대본의 이 섹션에서 연사는 데이터 과학의 진화와 데이터 과학이 실험실 작업 과학에서 상호 연결의 세계로 어떻게 변모했는지에 대해 논의합니다. 연사는 IoT 시스템 작업 경험과 IoT 시스템이 수작업에서 클라우드 서비스 사용으로 어떻게 발전했는지 공유합니다. 또한 발표자는 클라우드 서비스 사용이 허용되지 않는 환경에서 일할 수 있는 능력의 중요성과 이러한 상황에서 전문 기업이 얼마나 필요한지를 강조합니다. 마지막으로 연사는 프레임워크 또는 클라우드 공급자를 변경해야 하는 문제를 해결하고 고객이 프레임워크를 변경하는 대신 공급자를 자주 변경하는 이유를 설명합니다.
00:05:00 이 섹션에서 발표자는 서로 다른 AI 프레임워크 간의 호환성 문제와 이것이 비즈니스에 미치는 영향에 대해 이야기합니다. 그는 은행의 예를 들어 회사가 하나의 AI 프레임워크에 시스템을 구축했지만 새로운 고객이 다른 프레임워크를 사용하기를 원하면 처음부터 시스템을 완전히 다시 구축해야 하므로 비용이 많이 든다고 설명합니다. 시간과 돈 모두. 그런 다음 기업이 완전히 재구성할 필요 없이 기존 프레임워크와 모델을 호환 가능한 형식으로 변환할 수 있게 해주는 Onex 런타임에 대해 설명합니다. 연사는 또한 이러한 변환된 모델을 분석하고 최적화하는 데 사용할 수 있는 도구에 대해 언급합니다.
00:10:00 이 섹션에서는 연사가 Azure AI 및 ONNX Runtime을 사용하여 다양한 플랫폼에 기계 학습 모델을 쉽게 배포하는 방법을 설명합니다. 플랫폼과 언어에 적합한 옵션을 선택함으로써 기업은 소프트웨어를 사용하여 신경망의 0과 1 시퀀스를 로드하고 선택한 플랫폼과 언어를 활용하여 시스템을 쉽게 배포할 수 있도록 내보낼 수 있습니다. 이 세션에서는 또한 Onex를 사용하여 개발 프로세스 전체에서 교육을 최적화하여 더 빠르고 정확한 결과를 얻을 수 있는 방법에 대해서도 다룹니다. 연사는 또한 GPU 및 CPU를 위한 인텔 세란델로의 자동 최적화 시스템을 소개하여 모델 개발을 더욱 간소화합니다.
00:15:00 이 섹션에서 발표자는 ML 환경 생성과 꽃받침과 꽃잎의 길이와 너비를 기반으로 하는 식물 종 분류기 개발에 대해 논의합니다. 연사는 ML 환경을 만들 때 서버 클러스터를 구매하고 모든 것을 수동으로 구성해야 했지만 이제는 자체 ML 환경을 만들고 하드웨어 없이 자체 스튜디오를 시작할 수 있다고 말합니다. 그들의 ML 환경에는 일반 가상 머신과 TensorFlow 모델을 저장하는 데 사용되는 ONNX가 포함됩니다. 그런 다음 발표자는 주어진 매개 변수를 기반으로 식물 종을 분류하는 간단한 신경망 생성을 시연합니다.
00:20:00 이 섹션에서 발표자는 저장된 ONNX 모델을 로드하고 예측을 실행하는 방법을 보여줍니다. 그녀는 Tensorflow 프레임워크를 가져오고, ONNX 모델을 로드하고, 고유한 입력 이름을 입력 값에 할당합니다. 그런 다음 그녀는 ONNX 식을 실행하기 위해 임의의 입력 값을 생성하는 링크 필드를 만듭니다. 마지막으로 그녀는 호출을 실행하고 예측에서 얻은 출력 값의 범주를 가져옵니다. 앞에서 만든 ONNX 모델은 문서가 필요 없는 단일 파일이므로 개발자가 쉽게 사용할 수 있습니다.
00:25:00 이 섹션에서는 연사가 Azure AI 및 ONNX Runtime을 통해 기계 학습 모델을 다양한 애플리케이션에 쉽게 통합하는 방법을 설명합니다. Azure AI를 사용하면 고객이 선호하는 언어로 모델을 생성하기만 하면 Azure AI를 사용하여 모델을 로드하고 필요한 입력 데이터를 생성하여 모델을 호출할 수 있습니다. 그런 다음 ONNX Runtime을 사용하여 기본 플랫폼에 관계없이 모델을 Xamarin, Android 또는 Mac과 같은 다양한 애플리케이션에 통합할 수 있습니다. 이를 통해 다양한 장치 및 플랫폼에서 기계 학습 모델을 쉽게 통합할 수 있습니다. 연사는 또한 ONNX Runtime이 모바일 장치용 프로세서를 포함하여 다양한 프로세서에 최적화되어 있다고 언급합니다.
00:30:00 이 섹션에서 발표자는 ONNX가 모든 주요 프레임워크를 지원하고 많은 회사에서 지원하기 때문에 기계 학습 모델의 사실상 표준이 되었다고 설명합니다. 이 표준화를 통해 과거와 같이 수동으로 최적화할 필요 없이 다양한 하드웨어에 대해 보다 쉽게 최적화할 수 있습니다. 또한 ONNX는 신경망에 국한되지 않고 다른 알고리즘에도 사용할 수 있습니다. 연사는 또한 ONNX가 서로 다른 플랫폼에서 동일한 수학적 기능과 연산을 지원하므로 지원되는 opset이 일치하는 한 서로 다른 하드웨어 및 플랫폼에서 원활하게 배포할 수 있다고 언급합니다.
00:35:00 이 섹션에서 연사는 성능 측면에서 ONNX 런타임의 한계에 대해 논의합니다. ONNX는 일반적인 사용 사례에서 잘 작동하는 훌륭한 도구이지만 하드웨어를 최대한 활용하지는 않습니다. 여기에서 pytorch와 같은 ONNX 이외의 다른 도구가 더 유용할 수 있습니다. 그러나 사용자의 초점이 모델 내보내기에 있는 경우 ONNX는 다른 도구를 완전히 대체할 수 있습니다. 또한 연사는 ONNX가 다중 머신 렌더링과 같은 머신 간 통신을 처리하지 않는다고 설명합니다. 연사는 이러한 한계를 극복하기 위해 ONNX와 함께 다른 도구를 사용할 것을 제안합니다.
00:40:00 이 섹션에서 발표자는 하드웨어 기본 설정에 대한 벤치마크의 부재에 대해 논의하고 대부분의 벤치마크는 하드웨어 제조업체의 웹 사이트에서 찾을 수 있음을 강조합니다. 그들은 또한 많은 회사들이 이제 그 반대가 아니라 하드웨어를 위해 글을 쓴다는 점에 주목합니다. 그런 다음 연사는 Core ml, ONNX Runtime 및 RT를 포함하여 가속을 위해 가장 일반적으로 사용되는 플랫폼을 언급합니다. 그들은 교육 단계가 어떻게 가속화되고 일단 완료되면 고객에게 판매하기가 더 쉽다고 언급합니다. 연사들은 향후 몇 년 동안 변경 사항이 거의 없으며 제온 및 유사한 프로그램이 계속해서 눈에 띄게 유지될 것이라고 제안합니다.
Language: ItalianoAbstract:We will see how to create an AI model with Azure, turn it into ONNX, and use it in our .NET services natively with ONNX Runtime. A...
이 비디오는 ONNX 런타임이 다양한 언어와 프레임워크로 구축된 기계 학습 모델의 배포를 간소화하고 표준화하는 방법을 보여줍니다. Python scikit-learn 모델을 ONNX 모델로 패키징하고 Azure ML .NET 함수에 배포하는 프로세스를 보여줍니다. 이 비디오는 Azure 기능이 HTTP POST 요청을 통해 쉽게 트리거될 수 있어 모든 애플리케이션이나 웹 사이트에서 쉽게 호출할 수 있으며 기계 학습 모델을 구축하는 데 사용되는 언어에 관계없이 ONNX 모델로 변환할 수 있고 ML.NET을 통해 배포되어 일관되게 실행됩니다.
00:00:00 이 섹션에서는 비디오에서 ONNX 런타임을 소개하고 다양한 언어 및 프레임워크로 구축된 기계 학습 모델의 배포 프로세스를 간소화하는 방법을 소개합니다. ONNX 런타임을 사용하면 다른 환경에 쉽게 배포할 수 있는 방식으로 모델을 캡슐화할 수 있습니다. 피클링 프로세스를 대체하고 Python, R, .NET, Java 및 기타 언어에서 작동하는 표준 런타임을 제공합니다. 비디오는 Python에서 간단한 모델을 빌드하고 ONNX 모델로 패키징하고 ML .NET 함수에서 실행하는 종단 간 예를 시연합니다. 이 예제에 사용된 코드는 Advancing LLS YouTube 채널의 공개 GitHub에서 사용할 수 있습니다.
00:05:00 이 섹션에서 발표자는 Azure 함수에서 ONNX를 사용하여 기계 학습 모델을 배포하는 방법을 보여줍니다. 데모는 샌프란시스코 주택 가격 데이터를 사용하여 선형 회귀 모델을 교육하기 위해 scikit-learn을 사용하는 기본 Python 모델을 보여줌으로써 시작됩니다. 모델은 숫자 및 범주 값으로 구성된 훈련 세트를 사용하여 훈련되며, 모델이 훈련되면 컨테이너에서 지속 및 배포되도록 절임됩니다. 마지막으로 화자는 훈련 세트에서 예측을 호출하여 모델을 테스트하고 일부 값을 다시 가져옵니다. 이 프로세스는 ONNX를 사용하여 어디서나 기계 학습 모델을 배포하고 실행하는 데 사용할 수 있습니다.
00:10:00 비디오의 이 섹션에서 발표자는 ONNX에서 실행할 모델을 설정하여 Python이 모델을 사용할 필요가 없도록 합니다. 모델 교육에 들어가는 기능의 수가 지정되고 ONNX 모델이 초기화되어 무엇을 예상해야 하는지 알 수 있습니다. 초기 입력의 이름은 채점에 필요한 기능 입력입니다. 모델 점수를 매기기 위해 세션이 생성되고 한 줄의 코드가 교육 데이터를 기반으로 예측을 담당합니다. 그런 다음 예측이 인쇄됩니다.
00:15:00 이 섹션에서 발표자는 ONNX에서 Python 모델을 실행하고 사용된 패키지와 상관없이 Python에서 일관되게 실행할 수 있는 방법에 대해 설명합니다. 발표자는 Python 모델을 ONNX로 변환하고 JSON 개체와 함께 HTTP POST를 사용하여 Azure 함수에서 실행하는 방법을 보여줍니다. 이 기능은 연도, 더 넓은 거주 지역, 판매 조건과 같은 중요한 데이터를 추출하고 ONNX를 사용하여 데이터를 점수화하고 결과를 반환하는 모델로 전달합니다. 연사는 Azure 함수가 뒷면에 REST API가 있는 표준 HTTP 트리거이므로 모든 애플리케이션이나 웹 사이트에서 쉽게 호출할 수 있다고 설명합니다.
00:20:00 이 섹션에서 발표자는 입력이라는 변수를 만들고 이를 사용하여 세션이 실행될 수 있도록 입력 텐서를 형성하는 데 관련된 단계를 설명합니다. 세션이 시작되고 킥스타트되어 경로에서 새 세션을 실행하고 지정된 입력으로 점수를 매깁니다. 그런 다음 점수 결과를 꺼내서 결과 개체로 패키징하고 다시 함수로 전달합니다. 연사는 점수를 다시 얻기 위해 건축 연도 및 거주 지역과 같은 원시 JSON 개체 모델 매개 변수를 전달하여 Postman에서 배포된 모델을 테스트하는 방법을 시연합니다. ONNX 및 ML.NET을 통해 기계 학습 모델을 배포할 때의 이점은 사람들이 어떤 언어로 모델을 구축하든 관계없이 ONNX 모델로 변환할 수 있는 한 일관되게 배포하고 실행할 수 있다는 것입니다.
Deploying Machine Learning Models is hard. ONNX tries to make this process easier. You can build a model in almost any framework you're comfortable with and ...
동영상은 전이 학습을 사용하여 이미지를 분류하는 방법과 이미지 분류 모델을 Python 및 TensorFlow를 사용하여 최종 사용자 애플리케이션에 통합하는 방법을 보여줍니다. 발표자는 자동차 거래 애플리케이션 예제를 사용하여 필요한 관점에서 사진을 업로드하지 않고 레이블을 수동으로 확인해야 하므로 지루함과 비효율성을 초래할 때 직면하는 문제를 설명합니다. 그는 전이 학습 기술을 사용하여 사진의 관점을 인식하도록 기존 신경망을 훈련함으로써 이러한 문제를 극복하는 방법을 설명합니다. 그런 다음 GraphPipe 오픈 소스 프로젝트를 사용하여 Oracle 클라우드에서 모델을 테스트하고 배포하는 방법을 보여줍니다. 마지막으로 발표자는 기계 학습 모델을 실험실 단계에서 생산 단계로 가져가는 것의 중요성을 강조합니다.
00:00:00 이 섹션에서는 Jeroen Kloosterman이 기계 학습을 이미지 분류에 사용하는 방법과 이미지 분류 모델을 최종 사용자 애플리케이션에 통합하는 방법을 설명합니다. 그는 필요한 관점에서 사진이 업로드되지 않고 레이블을 수동으로 확인해야 하므로 지루함과 비효율성을 초래하는 자동차 거래 애플리케이션이 직면한 문제를 강조합니다. 이러한 문제를 극복하기 위해 Jeroen은 Python 및 Tensorflow를 사용하여 사진의 관점을 인식하도록 기존 신경망을 교육하는 전이 학습 기술을 사용합니다. 다양한 관점을 인식하기 위해 신경망의 마지막 계층만 재추적함으로써 Jeroen Kloosterman은 사진을 자동으로 분류하도록 네트워크를 성공적으로 훈련시켰습니다.
00:05:00 이 섹션에서 Jeroen은 이전 섹션에서 학습한 모델을 테스트한 다음 GraphPipe 오픈 소스 프로젝트를 사용하여 Oracle 클라우드에 배포하는 방법을 보여줍니다. 시작하려면 TensorFlow를 사용하여 모델을 재교육하는 retrain Python 스크립트가 호출됩니다. Oracle 클라우드에서 환경을 설정한 후 발표자는 Python을 사용하여 이미지 분류자를 호출하는 예제 클라이언트를 작성합니다. 그러면 모델에서 반환된 분류를 프런트 엔드에서 사용하여 자동차 판매 앱의 최종 사용자에게 메시지를 표시할 수 있습니다. 마지막으로 발표자는 기계 학습 모델을 실험실 단계에서 생산 단계로 가져가는 것의 중요성을 강조합니다.
In this video you learn how to Build and Deploy an Image Classifier with TensorFlow and GraphPipe. You can use the same technique to deploy models of other f...
이 비디오는 VS Code에서 ONNX Runtime 및 Azure Functions를 사용하여 기계 학습 모델을 배포하는 방법을 보여줍니다. 이 프로세스에는 Azure 함수 프로젝트 만들기, 점수 스크립트로 코드 업데이트, 모델 경로에서 모델 로드, ONNX Runtime으로 유추 세션 만들기, 출력 반환이 포함됩니다. 비디오는 또한 기능을 Azure에 배포하고 테스트하는 방법을 보여줍니다. 이 방법을 사용하면 Azure Functions 및 ONNX 런타임을 통해 모델을 효율적으로 배포할 수 있으므로 결과에 쉽게 액세스할 수 있습니다.
00:00:00 이 섹션의 비디오는 VS Code에서 ONNX Runtime 및 Azure Functions를 사용하여 기계 학습 모델을 배포하는 방법을 보여줍니다. 이 프로세스에는 Python 및 HTTP 트리거를 사용하여 Azure 함수 프로젝트 만들기, 점수 스크립트로 코드 업데이트, 이미지 크기 조정 및 모양 변경 및 사전 처리, 모델 경로에서 모델 로드, ONNX 런타임으로 유추 세션 만들기 및 출력을 반환합니다. 코드의 기능을 확인한 후 비디오는 기능을 Azure에 배포하고 테스트하는 방법을 보여줍니다.
00:05:00 이 섹션에서 발표자는 함수 URL을 가져와 테스트에 붙여넣어 배포된 함수를 테스트하는 방법을 시연합니다. 발표자는 배포된 함수를 사용하여 Azure Functions 및 ONNX 런타임을 통해 쉽게 결과를 얻어 모델을 효율적으로 배포할 수 있는 방법을 시연합니다.
In this video we will go step-by-step do deploy the ImageNet model using VS Code, Azure Functions, and ONNX Runtime.Doc link: https://docs.microsoft.com/azur...
이전에는 없었던 ONNX의 기능을 Spark로 가져옵니다.
이전에는 없었던 ONNX의 기능을 Spark로 가져옵니다.
이 비디오에서 Huawei의 Shivan Wang은 추론을 위해 ONNX의 기능을 Spark에 제공하는 방법을 설명합니다. 그는 Spark에 DL 모델을 배포하는 데 따르는 어려움과 Spark 커뮤니티가 프로세스를 단순화하기 위해 어떻게 Spip이라는 제안을 시작했는지에 대해 설명합니다. 연사는 또한 Huawei의 AI 프로세서, Ascent 및 여러 Ascent 프로세서 모델과 Atlas 하드웨어를 포함하는 Ascent AI 에코시스템에 대해 논의합니다. 그는 모델 변환 없이 Ascent 하드웨어에서 직접 ONNX 모델을 사용하기 위해 다음 런타임에 Con을 새로운 실행 공급자로 추가할 것을 제안합니다. 마지막으로 그는 ONNX의 기능을 Spark에 제공하기 위한 POC 코드가 거의 완성되었으며 관심 있는 사용자가 토론 메시지를 남기고 잠재적으로 테스트 목적으로 리소스를 제공할 수 있음을 환영합니다.
빌더 빌드 #3 - ONNX를 사용하여 Colab에서 프로덕션까지
빌더 빌드 #3 - ONNX를 사용하여 Colab에서 프로덕션까지
이 동영상은 ONNX를 사용하여 Colab에서 프로덕션으로 프로젝트를 배포하는 과정을 보여줍니다. 발표자는 전처리 신호, 배포를 위한 코드 수정, AWS Lambda에서 핸들러 생성, 웹 사이트에서 오디오 입력 수락, S3에 함수 업로드, ONNX에 대한 종속성 배포와 같은 다양한 측면을 다룹니다. 약간의 어려움에도 불구하고 화자는 AWS를 사용하여 모델을 성공적으로 배포하고 브라우저 로드 base64 파일 개체 또는 사운드 파일 읽기 바이트를 향후 단계에 사용할 수 있다고 제안합니다.
또한 이 비디오는 SimCLR 모델을 오디오의 대조 학습에 사용하고, 노래를 모델에 공급하여 노래 카탈로그를 만들고, k=1에서 무손실 및 회수를 달성하기 위해 PyTorch로 노래를 교육하는 방법을 보여줍니다. 발표자는 프로덕션에서 PyTorch를 사용하는 문제에 대해 논의하고 솔루션으로 ONNX를 제안합니다. 이 비디오는 PyTorch 모델을 ONNX 형식으로 내보내고 로드하고 추론을 실행하는 방법을 보여줍니다. 또한 Torch 오디오 및 Numpy 라이브러리를 사용하여 오디오 파일을 처리하는 방법을 보여주고 배포를 위해 PyTorch 모델을 설정할 때 발생하는 문제를 해결합니다. 이 동영상은 모델을 Colab 노트북 개발에서 프로덕션 환경으로 전환하는 방법에 대한 통찰력을 제공합니다.
Optimum, OpenVINO™, ONNX Runtime 및 Azure의 기능 결합
Optimum, OpenVINO™, ONNX Runtime 및 Azure의 기능 결합
이 비디오는 Optimum, OpenVINO, ONNX Runtime 및 Azure의 조합을 보여 주어 개발자의 워크플로를 단순화하고 모델의 정확성과 속도를 개선합니다. 연사는 도우미 기능, ONNX Runtime 및 OpenVINO Execution Provider를 사용하여 딥 러닝 모델을 최적화하는 방법을 시연합니다. 또한 Neural Network Compression Framework에서 양자화를 사용하여 껴안는 얼굴 모델을 최적화하는 방법을 보여주고 Azure ML, Optimum, ONNX Runtime 및 OpenVINO를 사용하여 교육 및 추론 프로세스를 설명합니다. 시연은 정확도 손실을 최소화하면서 모델의 성능을 개선하는 이러한 도구의 힘을 강조합니다.
ONNX 모델의 더 빠른 추론 | 개발자를 위한 에지 혁신 시리즈 | 인텔 소프트웨어
ONNX 모델의 더 빠른 추론 | 개발자를 위한 에지 혁신 시리즈 | 인텔 소프트웨어
이 비디오에서는 ONNX Runtime용 OpenVINO Execution Provider에 대해 설명합니다. 다양한 인텔 컴퓨팅 장치에 딥 러닝 모델을 배포할 수 있는 크로스 플랫폼 머신 러닝 모델 가속기입니다. Intel 하드웨어에 최적화된 OpenVINO 툴킷을 사용하고 공급자를 코드에서 OpenVINO Execution Provider로 설정함으로써 개발자는 고급 최적화 기술로 ONNX 모델의 추론을 가속화할 수 있습니다. 비디오는 논의된 도구를 활용하는 데 필요한 수정의 단순성을 강조합니다.
클라우드에서 클라이언트로 ONNX Runtime을 통한 더 빠르고 가벼운 모델 추론
클라우드에서 클라이언트로 ONNX Runtime을 통한 더 빠르고 가벼운 모델 추론
이 비디오에서는 Microsoft 클라우드 및 AI 그룹의 Emma가 ONNX(Open Neural Network Exchange) 및 다양한 하드웨어에서 ONNX 모델을 추론하기 위한 고성능 엔진인 ONNX Runtime에 대해 설명합니다. Emma는 ONNX Runtime INT8 양자화가 제공할 수 있는 모델 크기의 상당한 성능 향상 및 감소와 정확성의 중요성에 대해 설명합니다. 그녀는 ONNX Runtime INT8 양자화의 엔드투엔드 워크플로를 시연하고 PyTorch 양자화를 사용한 기본 모델의 결과를 제시합니다. 또한 Emma는 클라우드에서 클라이언트로 모델 유추를 최적화하는 ONNX Runtime의 기능과 기본적으로 Android 및 iOS 플랫폼 모두에서 300KB 미만의 크기를 달성할 수 있는 방법에 대해 설명합니다.
ONNX 변환 및 양자화를 통한 고속 T5 변환기 모델 CPU 추론
ONNX 변환 및 양자화를 통한 고속 T5 변환기 모델 CPU 추론
T5 변환기 모델을 ONNX로 변환하고 양자화를 구현하면 모델 크기를 3배 줄이고 추론 속도를 최대 5배 높일 수 있습니다. 이는 대기 시간이 1초 미만인 CPU에 T5와 같은 질문 생성 모델을 배포하는 데 특히 유용합니다. 또한 Gradio 앱은 모델에 시각적으로 매력적인 인터페이스를 제공합니다. Huggingface의 T5 변환기 모델이 활용되고 FastT5 라이브러리가 ONNX 및 양자화에 사용됩니다. 이러한 최적화를 구현하면 이러한 시스템의 생산 배포에 상당한 비용 절감 효과를 얻을 수 있습니다.
Azure AI 및 ONNX 런타임
Azure AI 및 ONNX 런타임
이 텍스트는 기계 학습 및 배포의 다양한 측면을 다룹니다. 데이터 과학의 발전, 프레임워크 호환성 문제, 모델 배포를 위한 Azure AI 및 ONNX Runtime 사용, ML 환경 생성 및 ONNX Runtime의 제한 사항에 대해 설명합니다. 발표자는 ONNX의 표준화와 여러 프레임워크에 대한 지원을 강조하여 서로 다른 하드웨어에 대해 더 쉽게 최적화할 수 있도록 합니다. 이 비디오는 또한 하드웨어 기본 설정에 대한 벤치마크가 없으며 ONNX의 한계를 극복하기 위해 여러 도구를 사용해야 한다고 언급합니다.
ONNX를 사용하여 어디서나 기계 학습을 배포하십시오. Azure ml.net 함수에서 실행되는 Python SKLearn 모델
ONNX를 사용하여 어디서나 기계 학습을 배포하십시오. Azure ml.net 함수에서 실행되는 Python SKLearn 모델
이 비디오는 ONNX 런타임이 다양한 언어와 프레임워크로 구축된 기계 학습 모델의 배포를 간소화하고 표준화하는 방법을 보여줍니다. Python scikit-learn 모델을 ONNX 모델로 패키징하고 Azure ML .NET 함수에 배포하는 프로세스를 보여줍니다. 이 비디오는 Azure 기능이 HTTP POST 요청을 통해 쉽게 트리거될 수 있어 모든 애플리케이션이나 웹 사이트에서 쉽게 호출할 수 있으며 기계 학습 모델을 구축하는 데 사용되는 언어에 관계없이 ONNX 모델로 변환할 수 있고 ML.NET을 통해 배포되어 일관되게 실행됩니다.
기계 학습 모델 배포(TensorFlow/Caffe2/ONNX) - 빠르고 쉬움
기계 학습 모델 배포(TensorFlow/Caffe2/ONNX) - 빠르고 쉬움
동영상은 전이 학습을 사용하여 이미지를 분류하는 방법과 이미지 분류 모델을 Python 및 TensorFlow를 사용하여 최종 사용자 애플리케이션에 통합하는 방법을 보여줍니다. 발표자는 자동차 거래 애플리케이션 예제를 사용하여 필요한 관점에서 사진을 업로드하지 않고 레이블을 수동으로 확인해야 하므로 지루함과 비효율성을 초래할 때 직면하는 문제를 설명합니다. 그는 전이 학습 기술을 사용하여 사진의 관점을 인식하도록 기존 신경망을 훈련함으로써 이러한 문제를 극복하는 방법을 설명합니다. 그런 다음 GraphPipe 오픈 소스 프로젝트를 사용하여 Oracle 클라우드에서 모델을 테스트하고 배포하는 방법을 보여줍니다. 마지막으로 발표자는 기계 학습 모델을 실험실 단계에서 생산 단계로 가져가는 것의 중요성을 강조합니다.
Azure Functions 및 ONNX Runtime을 사용하여 ML 모델 배포
Azure Functions 및 ONNX Runtime을 사용하여 ML 모델 배포
이 비디오는 VS Code에서 ONNX Runtime 및 Azure Functions를 사용하여 기계 학습 모델을 배포하는 방법을 보여줍니다. 이 프로세스에는 Azure 함수 프로젝트 만들기, 점수 스크립트로 코드 업데이트, 모델 경로에서 모델 로드, ONNX Runtime으로 유추 세션 만들기, 출력 반환이 포함됩니다. 비디오는 또한 기능을 Azure에 배포하고 테스트하는 방법을 보여줍니다. 이 방법을 사용하면 Azure Functions 및 ONNX 런타임을 통해 모델을 효율적으로 배포할 수 있으므로 결과에 쉽게 액세스할 수 있습니다.