딥 러닝 입문에 대한 이 YouTube 강의에서 강사는 딥 러닝 모델의 기본 사항과 경사 하강법을 사용하여 모델을 교육하는 방법, 신경망의 다양한 구성 요소 및 딥 러닝이 널리 보급된 기술인 이유에 대해 설명합니다. 강의에서는 퍼셉트론을 소개하고 다중 퍼셉트론을 적층하여 보다 복잡하고 정교한 신경망을 만들고 행렬 곱셈과 최종 가산으로 출력을 계산하는 방법을 설명하며 중간 계층은 ReLU 활성화 함수를 사용합니다. 연사는 Softmax 함수 및 ReLU 활성화 함수의 사용, 모델이 얼마나 잘 수행되고 있는지 평가하기 위한 메트릭으로 손실 함수를 사용하는 방법, 경사 하강법 최적화의 개념을 다룹니다. 마지막으로 강사는 딥 러닝의 아이디어와 어떻게 큰 신경망이 데이터를 기억할 수 있는 능력에도 불구하고 낮은 손실을 유도하는지에 대해 설명합니다. 또한 강사는 특정 데이터 세트로 성능을 향상시키기 위해 신경망에서 하이퍼파라미터 튜닝의 개념을 소개합니다. 그는 하이퍼파라미터에 대한 보편적인 값이 없다고 지적하고 레이어 번호 및 활성화 함수와 같은 다양한 옵션을 탐색할 것을 제안합니다. 시간 제약으로 인해 강의가 갑자기 끝났지만 강사는 학생들에게 다가오는 퀴즈가 지나치게 어렵지 않고 GreatScope 플랫폼에서 액세스할 수 있다고 확신합니다.
00:00:00 이 섹션에서 강사는 특히 편향-분산 절충 및 원-핫 인코딩과 관련하여 이전 강의에서 질문이 있는지 청중에게 묻습니다. 그들은 탐색적 데이터 분석과 k-겹 교차 검증에 대해 간략하게 다루며 이러한 주제가 과정에서 많이 다루지 않을 것이라고 말했습니다. 강사는 딥 러닝에 대한 두 번째 강의를 시작하기 전에 k-폴드 교차 검증이 어떻게 작동하는지 자세히 설명합니다.
00:05:00 강의의 이 섹션에서 강사는 딥 러닝 모델의 기본 사항과 경사 하강법을 사용하여 교육하는 방법을 포함하여 학생들이 배울 수 있는 내용에 대한 간략한 개요를 제공합니다. 강의는 또한 신경망의 다양한 구성 요소와 딥 러닝이 널리 퍼진 기술인 이유를 다룹니다. 딥 러닝의 세부 사항을 살펴보기 전에 강사는 벡터 내적 및 행렬 벡터 곱셈과 같은 몇 가지 기본 선형 대수 개념을 검토합니다. 이러한 개념은 딥 러닝 모델의 내부 작동을 이해하는 데 중요합니다. 강사는 학생들이 자료를 완전히 이해할 수 있도록 예제와 표기법을 제공합니다.
00:10:00 비디오의 이 섹션에서 연사는 벡터와 행렬이 블랙 박스 기능의 매개변수를 나타내는 데 사용되는 딥 러닝의 표기법과 인덱싱에 대해 논의합니다. 화자는 행렬의 각 요소가 매개변수이며 벡터 내에서 인덱싱할 때 단일 스칼라를 참조한다고 설명합니다. 그들은 입력과 관련하여 편도함수의 용이성을 강조하고 신경망의 동기를 설명합니다.
00:15:00 이 섹션에서 강사는 회귀, 분류 및 강화 학습과 같이 딥 러닝으로 해결할 수 있는 다양한 유형의 문제에 대해 설명합니다. 목표는 인간 두뇌의 능력과 유사하게 모든 종류의 작업에 사용할 수 있는 범용 모델을 만드는 것입니다. 이 모델을 만들기 위해 강사는 뉴런과 유사한 수학적 공식인 퍼셉트론을 소개합니다. 퍼셉트론은 입력을 받아 가중치를 부여하고 추가한 다음 단계 함수를 통해 활성화합니다. 목표는 복잡해 보이는 다항식에 대한 비선형 회귀와 같은 복잡한 문제를 해결할 수 있는 미니 브레인을 만드는 것입니다.
00:20:00 이 섹션에서는 더 복잡하고 정교한 신경망을 만들기 위해 여러 퍼셉트론을 쌓는 개념을 소개합니다. 비디오는 퍼셉트론 작업이 입력과 가중치 사이의 내적과 편향 항으로 더 간결하게 작성되는 방법을 보여줍니다. 그런 다음 비디오는 이 작업을 수행하고 여러 퍼셉트론에 대해 반복하여 단일 레이어 신경망을 만듭니다. 비디오는 각 퍼셉트론의 가중치가 데이터 세트와 당면한 문제에 따라 학습될 수 있다고 설명합니다.
00:25:00 이 섹션에서 강사는 각 퍼셉트론이 고유한 가중치와 편향을 갖는 퍼셉트론 출력을 계산하기 위해 내적이 어떻게 작동하는지 설명합니다. 벡터의 각 요소는 스칼라가 추가되는 내적인 퍼셉트론 출력을 나타냅니다. 그런 다음 강의에서는 장난감 예제를 소개하여 청중에게 이웃에게 돌아가 출력을 예측하기 위해 수학에 대해 토론하도록 요청합니다.
00:30:00 이 섹션에서 발표자는 두 개의 입력이 있는 입력 레이어, 세 개의 노드가 있는 숨겨진 레이어 및 하나의 출력이 있는 출력 레이어로 구성된 기본 신경망을 소개합니다. 발표자는 ReLU 활성화 기능을 사용하는 중간 계층과 함께 행렬 곱셈 및 최종 추가로 출력을 계산하는 방법을 보여줍니다. 그런 다음 스피커는 순방향 패스 표기법을 압축하는 방법을 설명하고 가중치 순서에 대한 질문을 처리합니다. 마지막으로 화자는 신경망을 사용한 분류를 간략하게 소개합니다.
00:35:00 강의의 이 섹션에서 연사는 딥 러닝 모델의 출력 해석에 대해 이야기합니다. 화자는 숫자를 분류하고 레이블을 one-hot 표현으로 나타내는 예를 사용합니다. 모델의 출력을 제한하고 모델의 출력이 모델이 자신이 특정 클래스에 속한다고 생각할 확률로 해석될 수 있도록 하기 위해 화자는 신경망 맨 끝에 softmax 작업을 도입합니다. softmax 함수는 모든 출력 값의 지수를 취한 다음 결과를 정규화하여 모든 요소가 0과 1 사이이고 합계가 1이 되도록 합니다. 이 함수는 모델이 거의 음의 무한대를 출력하지 않는 한 완벽한 신뢰를 갖지 않도록 보장합니다. 모든 단일 값, 따라서 딥 러닝에는 항상 불확실성이 있을 것이라는 밈.
00:40:00 이 섹션에서 강사는 값의 벡터를 가져와 합계가 1이고 모두 0보다 큰 값의 벡터를 출력하는 Softmax 함수에 대해 설명합니다. 이 함수는 네트워크의 출력을 다른 클래스에 대한 확률로 해석하려는 경우 신경망의 끝에서 사용됩니다. 또한 네트워크에 복잡성을 더하는 ReLU 활성화 함수를 추가한 이유는 ReLU가 없을 경우 단순한 행렬 곱셈으로는 포착할 수 없는 복잡한 함수를 모델링할 수 있도록 하기 위해서라고 설명합니다. 강사는 또한 평균 제곱 오차와 같이 모델이 얼마나 잘 수행되고 있는지 평가하기 위한 메트릭으로 손실 함수를 사용하는 방법을 다룹니다. 마지막으로 경사하강법 최적화의 개념을 설명하기 위해 언덕 위에 있고 주변을 한 발만 보고 바닥으로 가고 싶다는 은유를 도입합니다.
00:45:00 이 섹션에서 강사는 최적화에서 언덕 오르기의 개념과 딥 러닝에 적용하는 방법을 소개합니다. 신경망은 벡터 함수이고 가장 가파른 방향은 벡터 함수의 기울기입니다. 강사는 가장 가파른 오르막의 방향을 알아내는 것은 다변수 미적분학을 사용하여 수행할 수 있으며 입력에 대한 여러 변수의 함수 기울기를 취하면 가장 가파른 방향을 제공한다고 설명합니다. 딥 러닝에서 최소 손실을 최적화하는 최상의 가중치를 찾는 문제는 엄청나게 어렵기 때문에 강사는 모든 가중치와 편향을 임의의 값으로 초기화하고 가장 가파른 하강 방향으로 작은 단계를 밟을 것을 제안합니다. 지속적인 평가를 통해 이 프로세스는 가중치와 편향의 올바른 선택으로 이어져야 합니다.
00:50:00 이 섹션에서 발표자는 모든 개별 매개변수에 대해 손실 함수의 편도함수를 취하여 손실 함수에서 언덕을 낮추는 방법에 대해 설명합니다. 화자는 또한 손실 함수가 가중치 및 편향과 같은 모든 매개변수에 따라 달라진다고 언급합니다. 이러한 가중치와 편향을 업데이트하기 위해 현재 값에서 평가된 매개변수와 관련하여 손실 함수의 미분을 취하고 학습 속도로 조정된 가장 큰 변화의 반대 방향으로 작은 단계를 수행합니다. 업데이트 후 손실 함수의 값이 크게 감소할 것으로 기대됩니다.
00:55:00 이 섹션에서 강사는 전체 데이터 세트에 대한 손실을 줄이는 것을 목표로 한 예의 손실을 줄이기 위해 가중치를 단계적으로 조정하는 방법을 설명합니다. 모든 단일 교육 예제의 그래디언트가 사용되며 평균화되면 전체 데이터 세트에서 가장 큰 손실 감소를 가져올 수 있는 단계입니다. 계산 효율성을 높이려면 청크를 만들고 배치 경사 하강법이라는 작은 청크를 살펴보십시오. 강사는 활성화 기능 및 손실 기능과 같은 네트워크 구성 요소의 프로세스를 자세히 설명하면서 결국 중요한 것은 손실 기능이 우리가 얼마나 잘하고 있는지 정량화한다는 점을 강조합니다. 강사는 또한 신경망의 모든 가중치와 편향에 대한 최상의 값을 정의하는 구체적인 방법이 없으므로 이러한 지연 방법을 사용한다고 지적합니다. 마지막으로, 딥 러닝의 아이디어에 대한 설명과 어떻게 큰 신경망이 데이터를 기억할 수 있는 능력에도 불구하고 낮은 손실을 유도하는지 경험적 결과가 보여주듯이 제공됩니다.
01:00:00 이 섹션에서 강사는 주어진 데이터 세트로 성능을 최적화하기 위해 신경망에서 하이퍼 매개변수를 조정하는 프로세스에 대해 설명합니다. 그는 모든 데이터 세트에 대해 작동하는 고정된 하이퍼 매개변수 집합이 없음을 인정하고 대신 레이어 수, 활성화 함수 등과 같은 매개 변수에 대해 다른 값을 테스트할 것을 권장합니다. 강사는 강의가 끝날 때까지 서둘러야 했으며 다음과 같이 언급했습니다. 퀴즈가 곧 공개될 예정이지만 너무 어렵지 않고 넓은 범위에서 사용할 수 있습니다.
강의의 이 섹션에서는 중복 연산을 수행하지 않고 경사하강법 알고리즘에 필요한 모든 편도함수를 더 빠르게 얻을 수 있는 역전파(backpropagation)의 개념을 설명합니다. 또한 강사는 딥러닝 최적화를 위한 바닐라 그래디언트 디센트를 개선하는 방법에 대해 논의하고 최적화 방법으로 모멘텀, RMSprop 및 Adam을 소개합니다. 모델의 훈련 이력을 추적하는 것의 중요성, 배치 정규화 사용, 모델 성능을 개선하기 위한 기술로서의 앙상블뿐만 아니라 드롭아웃 및 건너뛰기 연결과 같은 과적합을 줄이는 데 도움이 되는 딥 러닝에서 일반적으로 사용되는 기술에 대해서도 설명합니다. 마지막으로 강사는 PyTorch의 사용 편의성에 대해 간략하게 설명하고 질문을 시작합니다.
00:00:00 강의의 이 섹션에서 발표자는 다가오는 코딩 과제 마감일과 첫 번째 퀴즈에 대해 몇 가지 간단한 발표를 합니다. 첫 번째 과제는 학생들이 과정의 나머지 부분에 필요한 도구를 배울 수 있는 기회이며 퀴즈는 이해도를 확인하는 역할을 합니다. 그런 다음 연사는 역전파 및 최신 딥 러닝 도구를 포함하여 강의에서 다룰 주제를 설명하고 역전파의 수학적 세부 사항을 이해하지 못하더라도 높은 수준의 아이디어를 이해하는 한 괜찮다고 학생들에게 확신시킵니다. . 강의 후반부는 중요하며 최신 딥 러닝이 잘 작동하도록 하는 도구를 다룹니다.
00:05:00 강의의 이 섹션에서는 함수에 대한 계산 그래프를 만들고 체인 규칙을 사용하여 편도함수를 계산하는 개념에 대해 설명합니다. 계산 그래프를 사용하면 개별 노드에 대한 미분을 효율적으로 계산할 수 있습니다. 그런 다음 이 개념은 체인 규칙을 사용하여 각 가중치 및 편향 매개변수에 대한 손실의 편도함수를 계산하는 장난감 신경망 예제의 역전파에 적용됩니다. 각 매개변수에서 손실 노드까지의 경로를 따라 모든 편도함수를 곱하면 중복 계산을 피할 수 있습니다.
00:10:00 이 섹션에서는 중복 연산을 수행하지 않고 경사하강법 알고리즘에 필요한 모든 편도함수를 더 빠르게 얻을 수 있는 역전파(backpropagation)의 개념을 설명합니다. 신경망의 깊이가 증가함에 따라 많은 계산이 반복되고 중복되어 심층 신경망 훈련에 적합하지 않게 됩니다. 역전파는 순방향 패스 중에 값을 캐싱하고 편도함수를 계산할 때 역방향 패스 중에 값을 재사용하는 방식으로 작동합니다. 그러나 편도함수에는 이제 행렬과 행렬이 포함되기 때문에 캐싱은 일반적으로 비용이 더 많이 드는 곱셈 연산을 절약하기 때문에 더욱 중요해집니다. 동영상에서는 pyTorch와 같은 도구를 사용하여 필요한 값을 자동으로 캐시할 수 있다고 설명합니다.
00:15:00 이 섹션에서 강사는 딥 러닝 최적화를 위해 바닐라 그래디언트 디센트를 개선하는 방법에 대해 설명합니다. 바닐라 그래디언트 디센트의 한 가지 문제는 그래디언트가 0인 로컬 최소값 또는 평평한 지점에서 어려움을 겪어 알고리즘이 더 나은 솔루션을 찾지 못한다는 것입니다. 이를 해결하기 위해 강사는 언덕 아래로 굴러가는 공에서 영감을 얻은 운동량의 개념을 소개합니다. 과거 그래디언트의 가중 평균을 취하여 현재 그래디언트에 추가함으로써 모멘텀은 작은 로컬 최소값과 평평한 지점을 지나도록 도울 수 있습니다. 기술적으로 진정한 경사 하강법은 아니지만 모멘텀을 통해 알고리즘은 이러한 장애물을 통과하고 더 나은 솔루션을 찾을 수 있습니다. 강사는 또한 현재 기울기를 너무 많이 축소하지 않도록 과거 기울기의 가중 평균을 조정하는 방법에 대해서도 설명합니다.
00:20:00 이 섹션에서는 경사하강법의 모멘텀 개념에 대해 설명합니다. 강의에서는 단계 크기가 너무 커지고 일관성이 없게 되지 않도록 단계 크기를 제어하기 위해 베타가 사용된다고 설명합니다. 강의는 내리막길을 굴러갈 때 단계 크기가 동일하게 유지되는 방법으로 모멘텀을 설명하지만, 경사도가 역사적으로 가리키는 방향으로 계속 이동하는 데도 사용됩니다. 그런 다음 강의에서는 이전 기울기의 제곱 구성 요소의 가중 평균을 저장하는 RMS prop 최적화 방법을 소개합니다.
00:25:00 이 섹션에서는 강사가 경사 하강법의 한 형태인 RMSprop의 개념과 기존 방법과 비교하여 작동 방식을 설명합니다. 그는 RMSprop이 기울기의 이동 평균 제곱근의 제곱근으로 기울기를 나눈다고 설명하고 작은 기울기 및 큰 기울기의 예를 사용하여 설명합니다. 이렇게 함으로써 알고리즘은 적응형 학습률로 알려진 학습률을 적응적으로 조정할 수 있습니다. 그는 궁극적으로 Adam이 RMSprop과 전통적인 방법의 이점을 모두 가지고 있기 때문에 경사 하강법의 가장 좋은 형태라고 결론지었습니다.
00:30:00 이 섹션에서 강사는 딥러닝 모델에서 경사하강법에 선호되는 최적화 방법으로 RMSProp과 모멘텀의 조합인 Adam을 소개합니다. Adam은 부스팅이 필요한 플랫 스팟 문제를 설명하면서 모멘텀으로 로컬 최소값을 피할 수 있는 이점을 허용합니다. 그래디언트의 방향은 변경되지 않고 스케일링만 변경됩니다. 강의에서는 로컬 최소값에 도달한 후 Adam 또는 RMSProp에서 발생할 수 있는 비정상적인 동작을 방지하는 방법으로 모델 체크포인팅을 제안합니다. 2차 최적화 방법도 사용할 수 있지만 더 많은 컴퓨팅 성능이 필요하고 덜 일반적입니다.
00:35:00 이 섹션에서 강사는 모델의 교육 기록을 추적하는 것의 중요성과 어떤 체크포인트가 가장 좋은지 효과적으로 결정하기 위해 이전에 본 적이 없는 새로운 데이터에 대해 얼마나 잘 수행하는지 설명합니다. 일괄 정규화라는 정규화 기술도 설명합니다. 이 기술에는 신경망의 모든 단일 활성화에 대해 평균을 빼고 표준 편차로 나눈 다음 각 가중치에 값 감마를 곱하여 적합하다고 판단되는 대로 네트워크가 해당 값의 크기를 재조정할 수 있도록 합니다. 바이어스를 추가합니다. 이 기술은 데이터를 정규화하는 데 도움이 되며 경사 하강법으로 전송하기가 훨씬 쉬운 규칙적으로 보이는 손실된 표면을 생성하여 삶을 훨씬 더 쉽게 만듭니다.
00:40:00 이 섹션에서는 특정 레이어에서 출력의 평균과 표준 편차를 계산하여 신경망의 뉴런 활성화를 정규화하는 데 사용되는 방법인 배치 정규화에 대해 알아봅니다. 이 정규화는 신경망의 기본 동작이 정규화된 활성화를 갖도록 하여 올바르게 동작하도록 합니다. 이 방법은 모델에 표현력을 추가하지는 않지만 네트워크의 모든 계층에서 입력으로 더 나은 기울기와 더 정규화된 값 범위를 허용합니다. 또한 여러 모델을 교육하고 예측을 평균화하여 모델 성능을 개선하는 데 사용되는 기술인 앙상블에 대해 배웁니다.
00:45:00 이 섹션에서는 과적합을 줄이기 위해 딥 러닝에서 일반적으로 사용되는 두 가지 기술인 드롭아웃 및 건너뛰기 연결에 대해 설명합니다. 드롭아웃은 훈련 전에 특정 수의 뉴런을 임의로 제거하여 각 뉴런이 이전의 모든 기능을 사용하는 방법을 배우도록 강제하여 다른 뉴런과 동일한 출력을 배우도록 합니다. 대조적으로 건너뛰기 연결을 사용하면 잡음이나 혼란을 추가하지 않고 정보를 전파하는 데 도움이 되는 항등 기능을 학습할 수 있습니다. 그것은 모든 가중치에 대해 0을 학습하는 것을 포함하며, 이는 올바르게 분류하기 위해 좋은 정보를 마지막 레이어로 전달하는 것을 사소하게 허용합니다. 이 강의에서 논의된 다른 기술과 함께 두 기술 모두 오버피팅을 줄이고 임의의 심층 네트워크를 허용함으로써 성능을 높이는 데 도움이 됩니다.
00:50:00 이 섹션에서 강사는 건너뛰기 연결이 신경망을 구축할 때 유용한 도구가 될 수 있는 방법을 설명합니다. 이러한 연결을 추가하여 성능을 높이고 네트워크를 개선할 수 있습니다. 강사는 PyTorch에 대해 충분히 논의할 시간이 없었지만 숙제에 설명되어 있습니다. 그들은 numpy 사용법을 이미 알고 있다면 PyTorch를 사용하기가 정말 쉽다고 설명합니다. 값을 받아 반환하는 함수를 만들 수 있으므로 특정 입력에 대한 그래디언트 값을 계산할 수 있습니다. 강사는 질문을 시작하면서 강의를 마칩니다.
이 강의에서 연사는 기계 학습에서 특징 추출의 진화, 딥 러닝의 장점, 전이 학습을 사용하여 모델의 정확도와 속도를 향상시키는 방법에 대해 설명합니다. 또한 신경망에서 레이어를 고정하고 미세 조정하는 개념과 범주형 변수의 차원을 줄이는 임베딩의 중요성에 대해 논의합니다. 이 강의에서는 모델을 사전 훈련하고 학습된 표현을 다운스트림 작업으로 전송하는 데 사용할 수 있는 직소, 회전 및 마스킹된 단어 예측 작업을 포함하여 자기 지도 학습과 다양한 작업을 소개합니다. 마지막으로 컴퓨터 비전에서 자기주도 학습에 대한 새로운 관심이 논의되고 학생들이 하이크러쉬 노트북에서 숙제를 완료하도록 격려하는 강의가 진행됩니다.
00:05:00 강의의 이 섹션에서 저자는 표현 학습과 얕은 학습에 대해 설명합니다. 얕은 학습을 통해 머신 러닝 파이프라인은 입력 X로 시작하고, 특징 추출기를 사용하여 여기에서 특징을 추출한 다음 추출된 특징을 기계 학습 알고리즘에 전달하여 출력 Y를 얻습니다. 진행자는 특징 추출이 의존적이라고 설명합니다. 데이터에 대해 테이블 형식 데이터에는 간단하지만 텍스트, 오디오 또는 이미지와 같은 데이터에는 복잡합니다. 그러나 이미지의 경우 기존 컴퓨터 비전에서 사용할 수 있는 특수한 특징 추출기가 있습니다.
00:10:00 이 섹션에서는 강사가 특징 추출의 개념과 기계 학습에서 어떻게 진화했는지 설명합니다. 고전적인 기계 학습에서는 이미지에서 가장자리 정보를 캡처하는 Hog와 같은 수동 프로그래밍 기능 추출기를 사용하여 모델을 만듭니다. 그러나 기능 추출기가 작업마다 다르기 때문에 이 프로세스는 까다롭습니다. 딥 러닝은 특징 추출과 출력 예측을 모두 학습하여 종단 간 프로세스를 제공합니다. 강사는 이 프로세스를 통해 입력 데이터의 추상적 표현을 학습할 수 있으며, 이는 신경망에서 학습된 특징 추출기의 레이어를 통과하여 계층적 표현을 생성한다고 설명합니다. 강의는 심층 신경망이 자동차 이미지 표현을 학습하는 방법에 대한 예를 제공합니다.
00:15:00 이 섹션에서 발표자는 신경망의 깊이가 표현을 개선하는 데 어떻게 도움이 되는지 설명합니다. 네트워크의 초기 레이어는 가장자리와 같은 낮은 수준의 세부 정보를 감지하는 반면, 이후 레이어는 이미지의 문이나 창문과 같은 보다 구체적인 기능에 초점을 맞춥니다. 최종 레이어는 입력 이미지가 실제로 모델이 인식하도록 학습한 것인지 확인하여 추상적인 정신 모델을 생성합니다. 그런 다음 발표자는 사전 훈련된 모델을 활용하고 시간, 컴퓨팅 및 데이터 측면에서 비용이 많이 들 수 있는 모델을 처음부터 훈련하지 않아도 되는 방법으로 전이 학습에 대해 논의합니다.
00:20:00 이 섹션에서 발표자는 신경망의 레이어링 개념과 모델의 정확도와 속도를 개선하기 위해 사전 교육 및 전이 학습을 사용할 수 있는 방법에 대해 설명합니다. 연사는 이전 레이어가 모양 및 패턴과 같은 일반적인 기능을 캡처하는 반면 이후 레이어는 개체 및 사람과 같은 보다 추상적인 기능을 캡처하는 방법을 설명합니다. 특정 레이어가 보존되어 후속 모델에서 사용되는 고정의 개념도 특정 작업에 대한 모델을 사용자 정의하는 방법으로 논의됩니다. 고정 기술은 모델 학습 속도를 높이고 정확도를 향상시킬 수 있지만 레이어가 적절한 수준에서 고정되도록 주의를 기울여야 합니다.
00:25:00 이 섹션에서 강사는 신경망의 전이 학습, 특히 미리 훈련된 모델이 출력 레이어와 고정되지 않은 레이어에서 추가로 훈련되는 미세 조정 기술에 대해 설명합니다. 그들은 사전 훈련된 모델을 고정할지 아니면 미세 조정할지 결정할 때 원본 데이터 세트에 대한 새 데이터 세트의 크기와 유사성을 고려하는 것이 중요함을 강조합니다. 또한 신경망에서 임베딩의 중요성과 범주형 변수의 차원을 줄여 변환 공간에서 더 쉽게 표현할 수 있는 방법에 대해 설명합니다. 임베딩의 사용은 책 장르를 저차원 벡터 공간으로 매핑하는 것과 관련된 예를 통해 설명됩니다.
00:30:00 강의의 이 섹션에서 교수는 고차원 데이터와 이를 표현하려고 할 때 발생하는 어려움에 대해 이야기합니다. 교수는 고차원 데이터를 나타내는 모든 중요한 정보를 저차원 공간으로 인코딩하는 저차원 잠재 공간의 개념을 소개합니다. 목표는 기능의 잠재 공간이라는 것을 통해 이 정보를 캡처하는 것이며 많은 경우 임베딩을 통해 달성할 수 있습니다. 교수는 데이터가 고차원 공간에 산재해 있지 않도록 3차원 공간에서 3개의 변수가 아닌 1개의 변수만으로 1차원 구조를 표현할 수 있는 예를 제시한다. 마지막으로 교수는 소프트맥스 손실 함수를 사용하여 MNIST 데이터 세트의 이미지를 분류하도록 모델을 교육하고 모델의 일부 레이어 출력을 이미지 표현으로 사용하여 임베딩을 학습하는 방법을 설명합니다.
00:35:00 이 섹션에서 발표자는 사전 훈련된 네트워크와 전이 학습의 이점에 대해 논의합니다. 이를 통해 더 나은 결과를 달성하면서 시간과 계산 능력을 절약할 수 있습니다. 사전 훈련된 네트워크는 더 큰 데이터 세트에서 훈련될 수 있으므로 더 나은 표현으로 이어질 수 있습니다. 전이 학습을 통해 사전 훈련된 네트워크에서 학습한 지식을 다른 작업에 적용할 수 있으므로 자연어 처리에 특히 유용합니다. 그런 다음 자체 감독 사전 훈련이 도입되어 레이블의 감독 없이 원시 데이터에서 학습하여 학습할 수 있습니다.
00:40:00 이 섹션에서 강사는 레이블이 제공되지 않는 학습 유형인 비지도 학습에 대해 설명하지만 모델은 여전히 데이터 세트 내에서 패턴과 관계를 학습합니다. 비지도 학습의 예로는 주성분 분석(PCA) 및 클러스터링이 있습니다. 그런 다음 강사는 외부 레이블이 아닌 데이터 자체에서 감독을 제공하는 자기 감독 학습에 대해 이야기합니다. 이 기술에는 관찰된 부분에서 데이터의 숨겨진 부분 또는 속성을 예측하는 것이 포함됩니다. 자기 지도 학습은 레이블이 지정된 데이터가 부족하거나 수집하는 데 비용이 많이 드는 상황에서 유용합니다.
00:45:00 강의의 이 섹션에서 연사는 자기 지도 학습과 프리텍스트 작업 및 다운스트림 작업과 같은 관련된 다양한 작업에 대해 논의합니다. 이러한 작업은 컴퓨터 비전, NLP 및 RL과 같은 다양한 도메인에서 사용할 수 있습니다. 그런 다음 화자는 이미지를 9개의 패치로 나누고 섞고 모델이 원래 순서를 예측하도록 요청하는 직소 작업과 같은 자기 감독 학습 작업의 예를 제공합니다. 또 다른 작업은 이미지를 일정 각도로 회전시키고 모델이 회전 각도를 예측하도록 요청하는 회전 작업입니다. 이러한 작업을 사용하여 모델을 사전 훈련하고 학습된 표현을 이미지 분류 및 객체 감지와 같은 다운스트림 작업으로 전송할 수 있습니다.
00:50:00 강의의 이 섹션에서는 SSL(self-supervised learning)을 사용하는 사전 학습 모델의 개념이 소개됩니다. 컴퓨터 비전에서 SSL의 한 가지 예는 이미지의 회전 각도를 예측하고 낮은 수준의 세부 정보 대신 개체 방향, 위치, 포즈 및 유형에 초점을 맞추도록 모델을 교육하는 것입니다. SSL은 문장에서 단일 또는 여러 단어를 예측하는 것과 같이 NLP 및 오디오에도 적용될 수 있으므로 이 아이디어는 CV에만 국한되지 않습니다. BERT라는 NLP의 유명한 모델은 Transformer 모델을 사용하여 동시에 두 문장에서 마스킹된 단어를 예측하고 단어 수준 및 문장 수준 임베딩을 학습합니다. BERT는 NLP에서 큰 성공을 거두었습니다.
00:55:00 강의의 이 섹션에서 연사는 자연어 처리(NLP)에서 BERT의 성공 이후 컴퓨터 비전(CV)에서 자기 감독 학습(SSL)에 대한 새로운 관심에 대해 논의합니다. 현재 CV의 최첨단 기술은 BERT와 유사하다고 합니다. 강의에서는 표현 학습, 전이 학습 및 SSL에 대한 개요를 제공하고 다양한 개념과 방법론을 소개합니다. 이번 강의는 숙제가 없지만, 다음주 화요일 마감인 하이크러쉬 노트북에 클러스터 전체에 대한 숙제가 있고, CV를 위한 고급 SSL에 대한 앞으로의 강의에는 숙제가 있을 것입니다. 슬라이드 데크는 검토를 위해 웹 사이트에서 액세스할 수 있습니다.
컴퓨터 비전에 대한 강의는 컴퓨터 비전의 역사와 수년에 걸친 발전을 포함하여 다양한 주제를 다룹니다. 강사는 또한 딥 러닝과 그것이 고전적인 컴퓨터 비전 방법에서 어떻게 향상되는지 설명합니다. 이 강의는 컨볼루션의 개념과 컴퓨터 비전에서 특징 추출기로 어떻게 사용되어 컨볼루션 신경망(CNN)을 생성하는지에 대해 자세히 설명합니다. 또한 강의에서는 수용 영역의 역할에 대해 논의하고 CNN의 수용 영역을 증가시키는 방법으로 풀링 레이어를 소개합니다. 전반적으로 강의는 분야로서의 컴퓨터 비전의 개요와 이미지에서 정보를 추출하는 데 사용되는 기술을 제공합니다. 강의 2부에서는 패딩(padding) 및 동일한 패딩(same padding)을 포함하여 컨볼루션 동안 이미지 크기를 유지하는 다양한 기술에 대해 설명합니다. 컨볼루션 레이어의 보폭 개념도 다루어 풀링 레이어의 효과를 모방할 수 있는 방법을 보여줍니다. 커널 크기, 스트라이드, 패딩 및 풀링 레이어를 포함하여 CNN과 하이퍼 매개변수의 구조를 설명하고 컨벌루션 레이어가 기능의 저차원 블록을 완전히 연결된 기능으로 전달하는 기능 추출기 역할을 하는 방법을 강조합니다. 분류를 위한 네트워크. 강의는 또한 필기 숫자를 분류하기 위한 LeNet 네트워크 아키텍처와 신경망을 통과하기 전에 이미지 데이터를 정규화하는 것의 중요성을 다룹니다. 마지막으로 학습 데이터를 추가로 생성하는 기법으로 데이터 증대(Data Augmentation)에 대해 논의하고, 학습 중 모델 체크포인팅의 중요성을 강조한다.
00:00:00 이 섹션에서 강사는 의미론적 수준에서 이미지에서 정보를 추출하는 AI 분야로 컴퓨터 비전을 소개합니다. 기계 학습 모델이 수행할 수 있는 작업으로 분류, 검색 및 세분화를 설명합니다. 머신이 이미지를 이해하고 이러한 작업을 수행할 수 있도록 하려면 이미지 내용을 더 높은 수준으로 이해해야 하므로 모델은 이미지를 분류하기 위해 가장자리와 같은 특징을 추출하도록 설계됩니다. 강사는 컴퓨터 비전 분야가 인지과학과 심리학에 뿌리를 두고 있으며 1959년 고양이를 대상으로 한 실험에서 나온 돼지와 같은 특징 추출기의 발전에 대해 설명합니다.
00:05:00 강의의 이 섹션에서 강사는 딥 러닝이 특징 추출기가 손으로 프로그래밍된 기존 컴퓨터 비전 방법을 어떻게 대체했는지 논의합니다. 딥 러닝을 통해 모델은 기능에서 출력으로의 매핑뿐만 아니라 기능 추출기 자체도 학습할 수 있으며 이러한 혁신은 2012년 Alex Krajevski의 신경망과 함께 이루어졌습니다. 강사는 ImageNet 시각 인식 과제와 AlexNet이 어떻게 오류율을 획기적으로 줄여 딥 러닝의 전환점이 되었는지에 대해 이야기합니다. 그런 다음 강의는 이미지가 디지털 방식으로 매트릭스로 표현되는 방법과 밝기 값을 사용하여 그레이스케일 이미지를 표현하는 방법에 대해 논의합니다.
00:10:00 강의의 이 섹션에서 강사는 이미지의 색상 차원 및 채널 개념에 대해 설명합니다. 각 컬러 픽셀은 세 가지 다른 값으로 나눌 수 있습니다. 즉, RGB 이미지는 각 구성 요소에 대한 세 가지 매트릭스로 나타낼 수 있습니다. 그런 다음 이러한 행렬을 서로 쌓아서 텐서라고 하는 3D 행렬을 형성할 수 있습니다. 강사는 일반 신경망이나 다층 퍼셉트론은 3D 텐서를 벡터로 변환해야 하기 때문에 큰 이미지를 처리하는 데 도움이 되지 않아 결과적으로 방대한 이미지가 생성되기 때문에 이것이 합성곱 신경망(CNN)을 이해하는 데 중요한 개념이라고 지적합니다. 요소 수.
00:15:00 이 섹션에서 발표자는 컴퓨터 비전의 완전 연결 계층에 대한 매개변수 수에 대해 논의합니다. 레이어는 120,000차원 입력을 받고 10차원 벡터를 출력합니다. 즉, 가중치 행렬은 10 x 120,000의 차원을 가져야 하므로 편향 벡터에서 120만 가중치와 10개의 매개변수가 생성됩니다. 이 매개변수 수는 특히 고차원 출력이 필요한 경우 네트워크를 너무 크고 훈련하기 어렵게 만듭니다. 또한 각 픽셀을 별도의 기능으로 취급하는 것은 이미지 분류에서 비정통적입니다. 인간은 이미지를 여러 부분으로 분해하고 이 정보를 사용하여 정신 모델을 구성하는 경향이 있기 때문입니다. 화자는 데이터를 더 잘 이해하기 위해 개별 픽셀 대신 이미지의 로컬 영역을 볼 것을 제안합니다.
00:20:00 이 섹션에서 강사는 정보를 수집하기 위해 이미지의 이웃 픽셀을 보는 것의 중요성과 이것이 일반적으로 각 픽셀을 개별적으로 처리하는 신경망에 어떻게 도전이 되는지에 대해 논의합니다. 그는 컴퓨터 비전과 관련되고 이미지의 구조와 관련된 로컬 영역의 개념을 소개합니다. 강의는 또한 입력에서 계층적 표현을 추출해야 하는 필요성과 이러한 표현이 서로 어떻게 의존하여 모델이 얼굴이 어떻게 생겼는지와 같은 추상적인 개념을 학습할 수 있도록 하는 방법에 대해 설명합니다. 마지막으로 강의에서는 이미지의 표현이 일관성을 유지하기 위해 픽셀과 함께 번역되어야 하는 번역 등가의 개념을 설명합니다.
00:25:00 이 섹션에서는 컴퓨터 비전에서 변환 불변성과 로컬 영역 처리의 개념에 대해 설명합니다. 기존의 네트워크 아키텍처는 이러한 요구 사항을 수용할 수 없으므로 연구자들은 대신 CNN(컨볼루션 신경망)을 개발해야 합니다. CNN에 포함된 컨볼루션 작업은 이미지 위로 슬라이드하고 내적을 계산하여 새로운 출력을 생성할 수 있는 가중치 필터를 사용하여 설명됩니다. 가중치 공유 기술도 도입되어 각 패치가 동일한 가중치와 편향이 있는 레이어를 통과하여 동일한 표현을 생성하므로 CNN이 컴퓨터 비전에 제시된 기준을 충족할 수 있습니다.
00:30:00 강의의 이 섹션에서 발표자는 입력 패치에서 필터의 요소별 제품을 가져와 결과를 합산하는 컨볼루션 과정을 설명합니다. 이 프로세스를 통해 컴퓨터 비전 알고리즘은 전체 이미지가 아닌 입력 이미지의 단일 패치에 초점을 맞추고 각 패치에 동일한 필터를 사용하여 가중치를 공유할 수 있습니다. 필터를 전략적으로 설계함으로써 알고리즘은 가장자리 감지와 같은 다양한 종류의 정보를 추출할 수 있습니다. 발표자는 컨볼루션된 출력의 중간을 따라 높은 활성화를 강조 표시하고 가장자리에 낮은 활성화를 표시하여 수직 가장자리를 감지하도록 설계된 필터의 예를 제공합니다.
00:35:00 강의의 이 섹션에서 강사는 컴퓨터 비전의 컨볼루션 개념과 특징 추출기로 사용되는 방법을 설명합니다. CNN(Convolutional Neural Network)은 이미지에서 다양한 특징을 추출할 수 있는 필터를 사용하며 이러한 필터는 딥 러닝 과정을 통해 학습될 수 있습니다. 더 많은 필터를 사용함으로써 CNN은 입력 이미지에서 다양한 종류의 기능을 추출하고 모든 기능에 대한 정보를 사용할 수 있습니다. 또한 강사는 컨볼루션 프로세스를 여러 채널이 있는 입력 이미지로 일반화하는 방법과 이 프로세스의 출력을 다양한 기능의 활성화를 나타내는 활성화 맵이라고 합니다.
00:40:00 이 섹션에서 발표자는 이미지를 RGB 형식으로 표현하는 개념과 활성화 맵이 3D 구조를 가질 수 있는 방법에 대해 논의합니다. 이 프로세스에는 다양한 기능을 추출하고 컨볼루션하여 3D 출력을 얻는 작업이 포함됩니다. 이 컨볼루션 작업은 일반적이며 모든 3D 입력에 적용할 수 있으므로 컨볼루션 레이어를 서로 쌓을 수 있어 심층 신경망으로 이어집니다. 또한 연사는 컨볼루션 신경망에만 국한되지 않는 수용 필드 개념에 관한 구현 세부 사항에 대해 설명합니다.
00:45:00 이 섹션에서는 활성화 맵의 수용 필드 개념에 대해 설명합니다. 수용 필드는 활성화 맵의 각 요소에 영향을 미치는 입력 영역을 나타냅니다. 이 섹션에서는 수용 필드가 작동하는 방식과 수용 필드 크기를 늘리면 네트워크 성능에 어떤 영향을 미칠 수 있는지 설명합니다. 또한 수용 필드는 다른 컨볼루션 필터의 영향을 받을 수 있으며 지나치게 크거나 작은 수용 필드를 사용하면 입력에서 중요한 정보가 누락될 수 있습니다.
00:50:00 강의의 이 섹션에서 교수는 수용 필드 크기가 CNN(컨볼루션 신경망)이 이미지를 분류하는 기능에 어떤 영향을 미치는지 설명합니다. 수용 필드가 작으면 네트워크가 이미지 분류 작업을 위한 충분한 정보를 처리할 수 없게 될 수 있는 반면, 수용 필드가 크면 과적합이 발생할 수 있습니다. 강의는 또한 CNN에서 활성화 기능을 사용하여 비선형성을 도입하는 것의 중요성에 대해 다룹니다. 교수는 두 개의 서로 다른 컨볼루션이 동일한 수용 필드를 가질 수 있지만 활성화 기능을 통한 비선형성의 도입으로 인해 출력이 동일하지 않을 것이라고 설명합니다.
00:55:00 이 섹션에서 강사는 모델을 너무 크게 만들 수 있는 너무 많은 레이어를 추가하지 않고 컨볼루션 신경망의 수용 필드를 증가시키는 방법으로 풀링 레이어를 소개합니다. 풀링 레이어에는 입력의 정사각형 영역을 살펴보고 최대 또는 평균 작업을 적용하는 작업이 포함됩니다. 예를 들어 2 x 2 최대 풀링을 사용하면 모델이 4개 픽셀의 각 청크에서 하나의 값만 선택할 수 있으므로 입력 크기가 2로 줄어듭니다. 강사는 또한 최대 풀링이 로컬 영역에서 중요한 정보를 보존하여 활성화의 공간적 차원을 줄이는 데 일반적으로 사용되는 방법을 설명합니다.
01:00:00 이 섹션에서 발표자는 패딩 및 동일한 패딩 프로세스를 포함하여 컨볼루션 중에 이미지의 높이와 너비를 보존하는 다양한 기술에 대해 설명합니다. 동일한 패딩은 활성화 맵의 공간 차원을 유지하기 위해 입력을 0 또는 다른 상수로 둘러싸서 입력의 크기를 인위적으로 늘리는 경우입니다. 이것은 딥 러닝 커뮤니티에서 선호하는 것이지만 일반 패딩보다 더 나은 성능으로 이어진다는 경험적 증거는 없습니다. 또한 연사는 컨볼루션에서 보폭의 개념과 그것이 풀링 레이어와 동일한 효과를 가질 수 있는 방법에 대해 설명합니다.
01:05:00 이 섹션에서 강사는 컴퓨터 비전의 풀링 레이어에 대한 근사치 역할을 할 수 있는 컨볼루션 레이어의 보폭 사용에 대해 설명합니다. 그는 1보다 큰 보폭을 사용하는 것은 컨볼루션과 풀링 레이어를 함께 결합하는 것과 유사하지만 그렇게 하는 데 특별한 이점을 제공하지는 않는다고 설명합니다. 그는 또한 원래 입력 크기, 필터 크기, 패딩 크기 및 보폭과 같은 요인에 따라 달라지는 출력 활성화의 크기를 결정하는 공식을 제시합니다. 그런 다음 강사는 그래디언트의 역전파가 컨볼루션 레이어를 통해 수행될 수 있는 방법을 설명하고 PyTorch를 사용하면 여러 매개변수를 사용하여 컨볼루션 레이어를 쉽게 정의할 수 있다고 강조합니다.
01:10:00 이 섹션에서 강사는 컨볼루션 레이어의 하이퍼 매개변수와 이들이 CNN의 구조를 구성하는 방법에 대해 설명합니다. 이러한 하이퍼 매개변수에는 커널 크기, 보폭, 패딩 및 풀링 레이어가 포함됩니다. 강사는 컨벌루션 레이어를 고차원 입력을 분류 작업을 위해 완전히 연결된 네트워크로 전달할 수 있는 저차원 기능 블록으로 변환하는 기능 추출기로 볼 수 있다고 설명합니다. 마지막에 있는 컨볼루션 레이어의 출력은 기능의 저차원 블록이며 분류기인 빨간색 상자 내부의 MLP로 전달될 수 있습니다. 마지막으로 강사는 다양한 유형의 풀링 레이어가 있지만 딥 러닝 커뮤니티의 표준은 평균 풀링 대신 최대 풀링을 사용하는 것이라고 설명합니다.
01:15:00 이 섹션에서는 실제 예제를 사용하여 CNN(Convolutional Neural Network)의 구조를 설명하는 비디오입니다. LeNet이라는 네트워크는 Jan Lacun이 손으로 쓴 숫자를 분류하기 위해 개발했습니다. 이 비디오에서는 LeNet 네트워크가 입력을 받아 기능 맵으로 컨벌루션하고, 해당 맵을 더 작은 크기로 가져오고, 출력을 얻기 위해 완전히 연결된 레이어를 통과하기 전에 입력의 더 작은 표현을 얻을 때까지 또 다른 컨볼루션 및 풀링을 적용한다고 설명합니다. 10개의 가능한 숫자 중 하나를 나타냅니다. 비디오는 계속해서 스택 컨볼루션, ReLU 및 풀링 레이어와 같은 CNN 아키텍처의 설계 선택과 훈련을 보다 안정적으로 만들기 위한 배치 정규화 레이어의 사용에 대해 설명합니다. 마지막으로 비디오에서는 MNIST 필기 숫자 분류 데이터 세트 및 CIFAR-10 데이터 세트와 같이 컴퓨터 비전에서 일반적으로 사용되는 일부 데이터 세트에 대해 설명합니다.
01:20:00 강의의 이 섹션에서 강사는 MNIST, CIFAR-10 및 ImageNet을 포함하여 널리 사용되는 몇 가지 컴퓨터 비전 데이터 세트에 대해 설명합니다. 특히 ImageNet 데이터셋은 컴퓨터 비전 알고리즘을 평가하기 위한 벤치마크로 널리 사용되는 백만 개의 이미지 데이터셋입니다. 강사는 또한 신경망에 이미지 데이터를 전달하기 전에 이미지 데이터를 정규화하는 것의 중요성과 데이터가 유사한 분포에서 나오는지 확인하기 위해 신중하게 고려해야 하는 데이터 수집 및 레이블 지정의 어려움을 강조합니다. 또한 더 많은 데이터는 과적합을 방지하는 데 도움이 될 수 있지만 대규모 데이터 세트를 수집하려면 비용과 시간이 많이 소요될 수 있습니다.
01:25:00 이 섹션에서 강의는 이미지의 밝기, 대비, 색상, 자르기, 뒤집기 또는 회전을 약간 변경하고 이미지를 할당하여 단일 이미지에서 인위적으로 더 많은 데이터를 생성할 수 있는 데이터 증대 주제를 다룹니다. 새 교육 데이터 세트를 만들기 위해 동일한 레이블을 지정합니다. 이 방법은 기존 데이터 세트에서 새 데이터를 만드는 매우 저렴하고 쉬운 방법입니다. 또한 강의에서는 일반적으로 훈련 시간이 몇 시간에서 며칠 또는 몇 주가 걸리고 기계 충돌이나 우발적인 종료와 같은 갑작스러운 중단으로 인해 진행 상황이 손실될 수 있기 때문에 컨볼루션 신경망을 훈련하는 동안 모델 체크포인트의 중요성을 강조합니다. 교육이 중단된 경우 최신 스냅샷에서 계속하려면 교육 프로세스의 여러 지점에서 모델 속도 스냅샷을 저장하는 것이 중요합니다.
고급 컴퓨터 비전 아키텍처에 대한 이 강의는 합성곱 신경망(CNN)과 다양한 기술에 중점을 둡니다. 강사는 AlexNet 및 VGG의 아키텍처를 설명하고 더 높은 정확도와 더 간단한 아키텍처를 위해 후방 잔차 값을 유지하기 위한 잔차와 같은 고급 기술을 탐구합니다. 컴퓨터 비전 아키텍처에서 정체성을 학습할 수 있는 것의 중요성뿐만 아니라 병목 현상 및 일대일 컨볼루션의 사용에 대해 논의합니다. 강의는 또한 신경망의 기울기 소실 문제와 배치 정규화 및 잔여 네트워크로 완화할 수 있는 방법을 다룹니다. Global average pooling, depth-wise separable convolution과 같은 기술에 대해 심도 있게 설명하고 모바일 네트워크 아키텍처와 그 이점에 대해 논의합니다.
또한 강사는 고급 컴퓨터 비전 아키텍처를 살펴보고 단계별 로컬 컨벌루션과 하나씩 컨벌루션을 사용하여 컨볼루션 신경망 모델을 최적화하는 데 중점을 둡니다. 그는 이러한 최적화를 이해하는 것의 중요성과 미래의 네트워크를 효율적으로 구축하는 데 있어 특정 최적화에서 발생할 수 있는 문제를 강조합니다. 강의는 정확도, 성능 및 모델 크기 사이의 균형에 대한 논의로 마무리되며 효율적인 네트워크 모델과 다른 네트워크의 비교를 통해 강조됩니다. 학생들은 다가오는 퀴즈와 다음 금요일까지의 숙제에 대해 알립니다.
00:05:00 이 섹션에서 발표자는 고급 CNN 아키텍처를 탐구하기 전에 이전 강의를 요약하는 것으로 시작합니다. 그들은 지난 강의의 대략적인 소개에 대해 사과하고 시작하기 전에 마지막 순간에 편집을 합니다. 마이크에 대한 짧은 대화가 이어지지만 곧 화자가 강의에 뛰어든다.
00:10:00 이 섹션에서 발표자는 CNN(컨볼루션 신경망)의 아키텍처와 이것이 표준 고밀도 신경망과 어떻게 다른지 검토합니다. 발표자는 CNN의 컨벌루션 레이어가 필터 및 편향 항과 같은 학습된 매개변수가 있는 고밀도 신경망의 레이어와 유사하다고 설명합니다. 발표자는 필터가 입력의 모든 위치에 대한 출력 맵을 생성하고 여러 필터가 서로 다른 출력 채널을 생성하는 방법을 설명합니다. 발표자는 풀링 레이어를 사용하여 출력 볼륨의 크기를 줄이는 방법도 설명합니다. 전반적으로 발표자는 CNN의 메커니즘이 행렬 곱셈을 대체하는 컨볼루션을 사용하는 조밀한 신경망과 유사하다고 강조합니다.
00:15:00 이 섹션에서 발표자는 기능 볼륨의 크기를 줄이고 컨볼루션 속도를 높이기 위해 컨볼루션 신경망에서 최대 풀링을 사용하는 방법을 설명합니다. 이 기술은 피처 볼륨의 각 작은 사각형에서 최대값을 가져와 출력으로 사용하는 것과 관련됩니다. 발표자는 또한 특정 분류로 이미지의 각 픽셀에 레이블을 지정하는 세분화의 개념에 대해 언급하고 이 작업의 경우 출력 크기가 입력 크기와 동일하다고 언급합니다. 이 섹션은 고급 CNN 아키텍처에 대한 간략한 소개로 끝납니다. 강의에서 빼놓을 수 없는 가장 중요한 ResNet에 중점을 둡니다.
00:20:00 이 섹션에서 강사는 컨볼루션 신경망(CNN)에 중점을 둔 다양한 컴퓨터 비전 아키텍처에 대해 설명합니다. 강의는 컨볼루션 레이어를 쌓고 레이어를 풀링하여 낮은 수준의 기능에서 정보를 합성하고 더 높은 기능으로 작업하는 CNN의 동기를 논의하는 것으로 시작합니다. 그런 다음 강의는 2012년 ImageNet에서 약 17%의 오류율을 달성한 획기적인 업적인 AlexNet의 아키텍처에 대해 논의합니다. 그러나 강사는 이러한 아키텍처가 더 이상 최신 기술이 아니라고 지적합니다. 이후 강의에서 논의될 변압기 아키텍처의 발전이 있었기 때문입니다.
00:25:00 이 섹션에서 발표자는 널리 사용되는 두 가지 컴퓨터 비전 신경망인 AlexNet 및 VGG의 아키텍처에 대해 설명합니다. AlexNet에는 5개의 컨볼루션 레이어가 포함되며, 최종 출력은 3개의 밀집 레이어를 통과한 평평한 1차원 벡터와 예측 클래스를 생성하는 소프트맥스 함수입니다. 반면에 VGG에는 23개의 컨볼루션 레이어와 3개의 밀집 레이어가 있습니다. 또한 발표자는 패딩 및 차원 추가 및 축소의 한 형태로 일대일 컨볼루션을 사용하는 것을 강조합니다.
00:30:00 이 섹션에서 강사는 컨볼루션 신경망(CNN)에 중점을 둔 고급 컴퓨터 비전 아키텍처에 대해 설명합니다. 이 강의에서는 입력 크기를 유지하기 위한 one-by-one 컨볼루션의 사용과 계산 효율성을 높이기 위한 깊이별 및 포인트별 컨볼루션의 조합을 강조합니다. 강의는 또한 분류기의 초기 단계에서 낮은 수준의 기능을 학습하는 것의 중요성을 강조하고 맹목적으로 쌓이는 레이어의 문제를 설명합니다. 이러한 문제를 해결하기 위해 강의에서는 잔차를 사용하여 후방 잔차 값을 유지하여 더 높은 정확도와 더 간단한 아키텍처로 이끄는 방법을 설명합니다.
00:35:00 이 섹션에서는 심층 합성곱 신경망의 잔차 개념에 대해 강의합니다. ID 변환을 학습할 수 있기 때문에 더 많은 계층을 추가해도 정확도가 낮아지면 안 되지만, 실제로 더 많은 계층을 추가하면 변환 후의 이전 ID에 영향을 미쳐 그래디언트가 사라지고, 그래디언트가 폭발하고, 그래디언트가 부서집니다. 잔차는 이전 단계의 정보를 향후 계산으로 유지하여 항등 변환을 더 쉽게 학습할 수 있도록 하여 이 문제를 해결합니다. 이 강의에서는 또한 잔차를 추가하면 수렴 시간이 늘어나지만 반드시 결과가 나오는 것은 아닌 잔차 처리의 병목 현상에 대해 설명합니다. 이에 대한 해결책은 병목 현상의 크기와 빈도를 조정하는 것입니다.
00:40:00 강의의 이 섹션에서 연사는 컴퓨터 비전 아키텍처에서 정체성을 배울 수 있는 것의 중요성에 대해 논의합니다. 그들은 네트워크의 가중치와 편향이 모두 0인 경우 네트워크가 입력한 것과 정확히 동일한 것을 출력하므로 네트워크가 좋은 분류를 만들기에 충분한 정보가 있을 때를 쉽게 인식하고 학습을 중지할 수 있다고 설명합니다. 더 복잡한 기능. 연사는 또한 네트워크에서 레이어 수를 선택하는 문제에 대해 다루며, 두 개는 ResNet 아키텍처에서 일반적으로 선택됩니다.
00:45:00 강의의 이 섹션에서 발표자는 신경망의 기울기 소실 문제와 이것이 가중치 업데이트에 어떤 영향을 미칠 수 있는지에 대해 논의합니다. 기울기 소실 문제는 개별 단계의 편도함수가 곱셈 체인에서 너무 작거나 너무 커질 때 발생하여 가중치를 일관되게 업데이트하는 데 문제가 발생할 수 있습니다. 이 프레젠테이션에서는 배치 정규화 및 잔류 네트워크가 기울기 소실 문제를 완화하는 데 어떻게 도움이 되는지에 대해서도 설명합니다. 그런 다음 강의는 CNN(Convolutional Neural Networks)에서 완전히 연결된 레이어를 대체하고 분류 작업에서 각 범주에 대한 기능 맵을 생성하는 데 사용되는 전역 평균 풀링에 대해 논의합니다.
00:50:00 강의의 이 섹션에서 연사는 신경망에서 조밀한 레이어를 사용하면 종종 과적합 및 성능 저하가 발생하는 방법에 대해 설명합니다. 이를 방지하기 위해 그들은 기능 맵을 생성하고 평균화한 다음 매개 변수를 조정하지 않고 소프트맥스 기능에 공급하는 글로벌 평균 풀링(GAP)을 사용할 것을 제안합니다. 발표자는 또한 계산을 줄이고 각 채널의 데이터를 유지하기 위해 지능적으로 결합하기 전에 각 채널에서 개별적으로 더 낮은 차원의 특징 맵을 사용하는 깊이별 분리 가능 컨볼루션의 개념을 소개합니다. 이 기술은 심층 신경망의 광범위한 필터에 대한 계산을 확장하는 데 특히 중요합니다.
00:55:00 강의의 이 섹션에서 발표자는 이미지에 필요한 계산 수를 줄이기 위해 깊이 및 점별 컨벌루션을 사용하는 모바일 네트워크 아키텍처에 대해 논의합니다. 이미지의 각 채널에 1x1x3 레이어를 적용한 다음 결과를 연결하고 더 작은 점별 컨벌루션을 적용하면 출력이 달성되어 계산 횟수가 크게 줄어듭니다. 모바일 네트워크 아키텍처는 매개변수가 적고 D3의 Inception 정확도와 일치하면서 더 빠르게 수렴됩니다. 연사는 또한 조밀한 레이어와 크기 조정을 사용하여 기능 맵을 압축하고 확장할 수 있는 압축 및 흥미로운 네트워크에 대해 논의합니다. 이는 계산 집약적이지 않습니다.
01:00:00 이 섹션에서 강사는 CNN(컨볼루션 신경망) 모델을 최적화하기 위해 단계별 로컬 컨볼루션과 하나씩 컨볼루션을 사용하는 방법에 대해 설명합니다. 그는 또한 최적화와 특정 최적화가 직면한 문제를 이해하는 것이 미래의 네트워크를 보다 효율적으로 구축하는 데 어떻게 도움이 되는지 언급합니다. 강의는 효율적인 넷 모델의 정확도, 성능 및 모델 크기를 다른 네트워크와 비교하는 것으로 마무리되며 이러한 메트릭 간에는 항상 상충 관계가 있음을 강조합니다.
객체 감지, 특히 간단한 분류 CNN에 지역화 추가, 객체 감지를 위한 IOU 방법, R-CNN 시스템, YOLO로 처리 시간을 최소화하기 위한 객체 감지 알고리즘 최적화에 대해 강의합니다. 이 비디오는 이미지를 잘라서 YOLO를 설명하고 앵커 박스를 사용하여 모호함을 제거하는 것을 포함하여 YOLO 객체 감지의 문제에 대해 설명합니다. 마지막으로 객체 감지를 위한 완전 컨벌루션 신경망인 YOLO 아키텍처를 탐색하고 분류를 위한 많은 수의 클래스 저장이 진행 중인 연구 문제로 제시됩니다. 화자는 읽을 수 없기 때문에 RCNN에 대해 조언하면서 "The Yellow Paper"를 읽을 것을 권장합니다.
00:00:00 이 섹션에서 강사는 랜드마크 감지를 위해 단순 분류 CNN에 현지화를 추가하는 과정에 대해 설명합니다. 네트워크에 X 및 Y 출력을 추가함으로써 네트워크는 동물의 코와 같은 이미지의 특정 기능의 정확한 위치를 출력합니다. 그런 다음 강사는 전체적으로 고양이에 대한 경계 상자를 만들기 위해 더 많은 출력을 추가하여 이 네트워크를 확장하는 방법을 설명합니다. 강사는 또한 네트워크 확장에 대한 다양한 아이디어를 탐색하여 경계 상자를 제시하고 이 확장된 작업에서 네트워크를 교육하는 프로세스를 탐구합니다.
00:05:00 이 섹션에서는 강사가 개체 감지를 위한 IOU(Intersection over Union) 방법에 대해 설명합니다. 이 접근 방식은 교차 영역을 계산하고 이를 결합 영역으로 나누어 예측된 경계 상자와 실제 경계 상자 간의 중첩을 최대화하는 것을 목표로 합니다. 강사는 이 값이 1에 가까울수록 탐지가 잘 된다고 설명합니다. 또한 강사는 전체 검색 또는 슬라이딩 윈도우를 사용하는 기본 솔루션을 언급하면서 동일한 이미지에서 여러 개체를 감지하는 문제에 대해 설명합니다. 그러나 이 접근 방식은 비효율성과 너무 많은 처리 능력을 요구하는 등의 심각한 문제를 안고 있습니다.
00:10:00 이 섹션에서 발표자는 R-CNN이라는 시스템인 객체 감지에서 낮은 종횡비 문제에 대해 제안된 솔루션에 대해 논의합니다. 기본 아이디어는 이미지를 분할하고 개체에 대한 여러 경계 상자를 제안하기 위해 고전적인 비 기계 학습 알고리즘을 사용하여 가능한 경계 상자를 추측하고 분류를 실행하는 것입니다. 이 접근 방식은 이미지의 가장자리가 경계 상자의 경계일 가능성이 높기 때문에 작동합니다. 또한 이 알고리즘은 동일한 개체를 여러 번 잠재적으로 분류하여 발생하는 중복성을 제거하기 위해 비최대 억제를 사용합니다. 그러나 이 시스템은 고전적인 알고리즘이 정의된 방법에 따라 대부분의 이미지가 수천 개의 서로 다른 분할 영역을 가지고 있기 때문에 여전히 느립니다.
00:15:00 이 섹션에서는 강사가 개체 감지 알고리즘을 최적화하여 처리 시간을 최소화하는 방법을 설명합니다. 한 가지 방법은 이미지에서 핵심 정보를 추출하는 특징 맵을 만든 다음 각 객체 감지에 필요한 특징 맵 섹션에서만 분류를 수행하여 매번 전체 컨볼루션 신경망을 다시 실행할 필요가 없도록 하는 것입니다. 그런 다음 강사는 단일 컨벌루션 신경망을 활용하여 이미지에서 여러 객체의 위치와 경계 상자를 출력하는 객체 감지 알고리즘인 YOLO를 소개합니다. YOLO의 아키텍처는 컨볼루션 레이어와 분류 레이어로 구성되어 있어 처리 시간이 더 빠르고 여러 객체를 한 번에 감지할 수 있습니다.
00:20:00 이 섹션에서 비디오는 이미지를 그리드로 자르고 각 그리드가 하나의 분류 벡터 또는 경계 상자를 나타내는 YOLO(You Only Look Once)가 어떻게 작동하는지 설명합니다. 이는 이론적으로 분류할 수 있는 개체의 수가 이미지의 격자 수와 같다는 것을 의미합니다. YOLO는 또한 XY 너비와 높이를 사용합니다. XY 좌표는 경계 상자의 중간점이고 너비와 높이는 상자의 크기입니다. 그런 다음 비디오는 겹침을 제거하고 각 분류 플롯에 대해 가장 높은 신뢰도를 가진 최상의 경계 상자를 선택하는 프로세스인 비최대 억제를 설명합니다.
00:25:00 이 섹션에서는 여러 개체가 동일한 셀의 중앙에 있는 문제와 한 셀에서 여러 분류 및 경계 상자를 출력하는 방법을 포함하여 YOLO 개체 감지의 문제에 대해 배웁니다. 이에 대한 해결책은 분류 전에 일반 경계 상자가 정의되고 이러한 앵커 상자와의 유사성에 따라 데이터 세트가 분류되는 앵커 상자를 사용하는 것입니다. 이것은 어떤 객체가 어떤 벡터로 분류되어야 하는지 결정하는 결정론적 방법을 허용하고 중복된 경계 상자의 모호성을 제거합니다.
00:30:00 이 섹션에서는 객체 감지를 위한 완전 컨벌루션 신경망인 YOLO 아키텍처에 대해 설명합니다. YOLO 네트워크는 이미지에 대해 한 번의 패스를 수행하며 디자인이 단순하여 슬라이딩 윈도우와 같은 기존 구성 요소를 제거합니다. 앵커 박스 및 기타 기술을 활용하여 YOLO는 RCNN의 정확도를 일치시키면서 속도를 크게 향상시킬 수 있습니다. 또한 이미지의 개체에 해당하는 기하학적 모양인 앵커 상자의 개념을 살펴봅니다. 모양과 크기가 같고 겹치는 앵커 상자가 있는 개체를 감지하는 것은 어렵습니다. 그러나 이러한 개체를 분리하기 위해 수학적으로 최적의 앵커 상자를 찾을 수 있는 알고리즘이 있습니다. 마지막으로, 토론에서는 분류를 위해 많은 수의 클래스를 저장하는 문제를 다루며, 이는 현재 연구자들이 탐구하고 있는 분류 문제입니다.
00:35:00 이 섹션에서 발표자는 개체 감지에 대해 읽는 데 관심이 있는 사람들을 위해 "The Yellow Paper"라는 기술 문서를 추천합니다. 반면 화자는 읽을 수 없기 때문에 RCNN을 읽지 말라고 조언합니다. 연사는 강의를 마치기 전에 청중에게 질문을 하도록 초대합니다.
강의에서는 시맨틱 분할과 인스턴스 분할을 포함한 이미지 분할에 대해 설명합니다. 분할의 주요 목표는 이미지의 모든 객체를 감지하고 분리하는 것입니다. 강사는 CNN(컨볼루션 신경망)을 시맨틱 분할에 사용하는 방법과 다운샘플링이 계산 비용이 많이 드는 전체 해상도 이미지에 어떻게 도움이 되는지 설명합니다. 작은 볼륨을 다시 이미지 크기로 변환하는 다양한 접근 방식에 대해서도 설명합니다. 강의에서는 이전의 개선사항과 스킵 연결을 결합한 시맨틱 분할 모델인 U-Net을 소개하고 이를 Mask R-CNN 접근 방식을 사용하여 인스턴스 분할로 확장할 수 있는 방법을 설명합니다. 사전 훈련된 시맨틱 세분화 모델이 시연되고 발표자는 사전 훈련 및 향후 과정 할당에 대해 이야기합니다.
00:00:00 이 섹션에서는 이미지 분할, 특히 시맨틱 분할 및 인스턴스 분할에 대해 강의합니다. 시맨틱 분할은 객체가 이미지에 있는 특정 픽셀을 찾는 것과 관련되며, 인스턴스 분할은 이미지에서 각 클래스의 각 인스턴스가 있는 위치를 식별합니다. 분할의 최종 목표는 이미지의 모든 객체를 감지하고 분리하는 것입니다. 이 기술은 인간이 개별 구성 요소의 조합을 통해 개체를 인식하고 이러한 구성 요소를 보다 구체적으로 식별하고 분류할 수 있기 때문에 유용합니다. 분할은 개체 감지 및 개체 관계 식별과 같은 유용한 응용 프로그램을 제공합니다.
00:05:00 이 섹션에서는 강사가 세분화의 개념과 접근 방법에 대해 설명합니다. 아이디어는 일종의 유사성 기준에 따라 그룹화하여 연결된 세그먼트를 만드는 것입니다. 이에 대한 고전적인 접근 방식은 강도와 같은 일부 메트릭의 유사성을 기반으로 픽셀을 함께 그룹화하는 기능을 정의하는 것이었습니다. 그러나 강사는 고정된 알고리즘을 사용하는 대신 세분화를 수행하는 방법을 학습할 수 있는 슬라이딩 윈도우와 같은 새로운 딥 러닝 접근 방식을 언급합니다.
00:10:00 이 섹션에서 발표자는 CNN(컨볼루션 신경망)을 시맨틱 분할에 사용할 수 있는 방법을 설명합니다. CNN 슬라이딩 윈도우 방식을 여러 번 실행하는 대신 컨볼루션 연산을 대신 사용할 수 있습니다. 이를 통해 공유 기능을 다시 계산하는 비효율 없이 원하는 효과를 얻을 수 있습니다. 컨벌루션 레이어는 이미지에 대한 필터로 실행할 수 있으며 출력 레이어는 크기에 관계없이 원본 이미지와 일대일로 매핑됩니다. 패딩은 입력 크기가 필터 크기보다 작은 경우를 처리하는 데에도 사용할 수 있습니다.
00:15:00 이 섹션에서 강사는 전체 해상도 이미지를 처리하는 데 계산 비용이 많이 들 수 있으므로 의미론적 분할을 보다 실현 가능하게 만들기 위해 큰 이미지를 다운샘플링하는 문제에 대해 논의합니다. 해결책은 각 컨볼루션 레이어로 이미지를 점진적으로 다운샘플링하고 중복 정보를 제거하여 작업할 더 작은 볼륨을 만드는 것입니다. 이 다운샘플링된 이미지는 마지막에 업샘플링되어 원본 이미지의 분할 맵을 생성하며 각 픽셀은 최대 분류 출력을 기반으로 특정 클래스로 분할됩니다. 이 강의에서는 이미지 가장자리 패딩 및 처리에 대한 다양한 접근 방식에 대해서도 간략하게 설명합니다.
00:20:00 이 섹션에서 강사는 분할 맵과 같은 작은 볼륨을 원래 입력 이미지 크기의 이미지로 다시 변환하는 다양한 접근 방식에 대해 설명합니다. 고전적인 접근 방식은 이미지를 확장하고 최근접 이웃 또는 선형 보간과 같은 보간 함수를 사용하여 추가 공간을 채우는 것입니다. 그러나 이 접근 방식은 일부 세부 정보 손실을 초래할 수 있습니다. 강사는 입력 레이어를 출력 레이어 위로 전달하고 원본 입력 이미지에서 픽셀을 하나씩 제거하는 디컨볼루션을 활용하는 학습된 접근 방식을 제안합니다. 강사는 컨볼루션에 대한 간략한 검토를 제공하고 입력 및 출력 레이어의 위치를 뒤집어 디컨볼루션이 작동하는 방식을 설명합니다.
00:25:00 이 섹션에서 강사는 간단한 입력 이미지의 예를 그리고 입력 이미지의 각 픽셀을 보고 필터를 사용하여 출력 이미지에 투영하는 분해 방법을 설명합니다. 강사는 이미 작성된 값을 덮어쓸 수 있다는 점에서 이 방법의 한계를 지적합니다. 이 문제를 해결하기 위해 강사는 입력 이미지를 저해상도 표현으로 다운샘플링한 다음 D 컨볼루션을 사용하여 다시 원래 크기로 업샘플링하는 컨볼루션 컨볼루션을 포함하는 증분 접근 방식을 소개합니다. 강사는 이 방법이 단지 고전적인 알고리즘이 아니라 업 샘플링을 학습하여 더 많은 적응성과 모양을 다듬을 수 있기 때문에 유익하다고 지적합니다.
00:30:00 이 섹션에서는 이전 개선 사항과 스킵 연결을 결합한 시맨틱 분할 모델인 U-Net에 대해 알아봅니다. 건너뛰기 연결을 사용하면 업샘플링하는 동안 다운샘플링 경로의 여러 수준에서 정보를 가져올 수 있습니다. Deep flat 제품군 모델 및 Sendformer와 같은 Transformer 기반 모델과 같은 U-Net의 다양한 변형도 있습니다. U-Net은 식별된 값 내에서 개체의 위치를 예측하는 Mask R-CNN 접근 방식을 사용하여 인스턴스 분할 문제를 해결하도록 확장할 수도 있습니다.
00:35:00 이 섹션에서 강사는 자동차, 보행자 또는 배낭과 같은 물체의 윤곽을 감지하는 자율 주행 자동차에 유용한 Mask R-CNN을 사용하여 전체 인스턴스 분할에 대해 설명합니다. 강사는 잠재적인 경계 상자가 고정된 크기의 이미지로 압축되고 분류되는 방법을 설명합니다. 사물에 대한 라벨은 사람이 하게 하거나 보조적인 방법을 사용하는 등 다양한 방법을 통해 수집됩니다. 행렬은 필터와 같은 방식으로 학습되며, 이미지를 해체할 때 강사는 필터에 해당하는 각 픽셀 값을 곱한 다음 이미지를 반복하는 프로젝션이라고 설명하며 실제로 컨볼루션을 반전시키는 것은 아닙니다. .
00:40:00 이 섹션에서는 강사와 학생이 Cloud GPU에서 훈련된 사전 훈련된 시맨틱 세분화 모델을 시연합니다. 모델은 일본의 이미지에서 실행되며 결과는 모델이 다양한 정확도로 여러 개체를 감지할 수 있음을 보여줍니다. 학생은 또한 정확도 점수가 낮은 정보를 필터링하기 위해 모델에 점수 임계값을 적용할 수 있다고 언급합니다. 전반적으로 데모는 시맨틱 분할이 실제 이미지에 어떻게 적용될 수 있는지에 대한 예입니다.
00:45:00 이 섹션에서는 연사가 사전 교육과 AWS 및 기타 오프로드 서비스에서 모델을 사전 교육하는 방법에 대해 이야기합니다. 그들은 또한 필수 상주 할당과 분할을 포함하는 권장 선택적 단위를 언급합니다. 마감일과 링크는 과정 웹 사이트에 있으며 질문이 있는 경우 학생이 근무 시간에 오도록 권장합니다. 전반적으로 이 섹션에서는 과정 및 향후 과제에 대한 몇 가지 물류 정보를 제공했습니다.
이 강의에서는 기계 학습을 사용하여 데이터 세트를 기반으로 새로운 이미지를 생성하는 Generative Modeling의 개념을 소개합니다. 특징 학습에 사용되는 신경망의 일종인 Autoencoder의 구조와 압축 및 재구성을 통해 입력 데이터의 특징을 학습하는 방법에 대해 설명합니다. 강의는 또한 변형 자동 인코더와 그 이점뿐만 아니라 이미지 사이를 보간하기 위해 자동 인코더에서 구조화된 잠재 공간을 사용하는 방법도 다룹니다. 불연속 데이터로 작업하기 위한 벡터 양자화의 중요성에 대해 논의하고 변형 자동 인코더의 손실 함수에 대해 설명합니다. 여기에는 입력 데이터의 하드코딩을 방지하기 위한 재구성 손실과 커밋 손실이 포함됩니다. 강의는 다룬 주제를 요약하는 것으로 끝납니다.
00:00:00 이 섹션에서는 기계 학습을 사용하여 데이터 세트를 기반으로 새 이미지를 생성하는 것과 관련된 생성 모델링 주제를 강의에서 소개합니다. 그러나 기계가 고양이와 같은 서로 다른 물체를 구별하는 것이 무엇인지 이해하는 것은 어려운 문제가 될 수 있습니다. 강의에서는 자동 인코더의 개념과 JPEG 압축의 예에서 볼 수 있듯이 이미지를 압축 및 압축 해제하는 데 사용할 수 있는 방법을 소개합니다. 강의는 또한 다음 강의에서 논의될 변이형 오토인코더(variational autoencoders) 주제를 다룹니다.
00:05:00 이 섹션에서 강사는 이미지 압축과 데이터를 어느 정도 이해하는 데 의존하는 방식에 대해 설명합니다. 압축은 공간을 절약하고 네트워크를 통해 이미지를 전송하는 데 필요한 비트 수를 줄일 수 있습니다. JPEG 알고리즘은 인간의 인식에 중요하지 않은 일부 고주파 정보와 픽셀 대 픽셀 관계를 제거하여 작동합니다. 그런 다음 강사는 고양이 이미지와 같은 특정 유형의 이미지에 대해 픽셀 상관 관계를 넘어 이미지가 어떻게 구성되는지에 대한 더 깊은 지식을 통해 더 발전된 압축 체계를 개발할 수 있다고 제안합니다. 전반적으로 압축 알고리즘은 기계 학습에서 데이터 이해의 중요성을 강조합니다.
00:10:00 이 섹션에서 강사는 입력 데이터를 압축하고 나중에 재구성하기 위해 인코더-디코더 구조를 사용하는 기능 학습에 사용되는 일종의 신경망인 오토인코더의 개념에 대해 설명합니다. 그는 특징 추출을 위해 PCA를 사용한 고유면과 같은 이전 기술과 비교하고 자동 인코더 네트워크의 구조를 보여줍니다. 인코더 부분은 입력 데이터를 병목 현상 계층으로 줄이고 디코더 부분은 다시 원래 형태로 재구성합니다. 목표는 원본 데이터와 재구성된 데이터 간의 차이를 최소화하는 것입니다. 강사는 입력과 동일한 출력을 생성하는 네트워크가 왜 유용할 수 있는지에 대해 의문을 제기하고 다른 작업에 사용할 수 있는 데이터의 학습된 특성에 핵심이 있다고 설명합니다.
00:15:00 강의의 이 섹션에서 강사는 자동 인코더의 병목 현상 계층의 개념과 네트워크가 입력 데이터를 강제로 압축하여 데이터의 일부 기능을 학습하는 방법을 설명합니다. 그는 또한 이 네트워크 구조의 한계와 작은 크기 및 유사한 이미지에 대한 코드의 유사성과 같은 코드의 바람직한 속성에 대해 설명합니다. 강사는 자동 인코더를 기반으로 하지만 잠재 벡터에 다른 작업을 적용할 때 합리적인 결과를 허용하는 마법 같은 속성을 제공하는 변형 자동 인코더의 개념을 소개합니다. 그런 다음 생성할 이미지 또는 텍스트의 정보가 포함된 잠재 벡터를 샘플링하는 것과 관련된 이미지 및 텍스트 생성을 위한 생성 프레임워크에 대해 설명합니다.
00:20:00 강의의 이 섹션에서 발표자는 얼굴 데이터 집합에서 특성 또는 "유전자"를 나타내는 방법으로 잠재 벡터를 사용하는 방법에 대해 논의합니다. 잠재 벡터는 개인에 대한 가능한 유전자 집합에 대한 일종의 확률 분포 역할을 하며 얼굴 구조는 해당 집합에 있는 유전자의 함수입니다. 인코더는 입력 이미지를 가져와 잠재 벡터를 생성하고 디코더는 해당 잠재 벡터를 가져와 원본 이미지의 추정치를 생성합니다. 잠재 공간에 구조를 부여하기 위해 확률 인코딩이 사용됩니다.
00:25:00 강의의 이 섹션에서 발표자는 잠재 공간에서 가까운 벡터가 유사한 이미지로 디코딩되도록 강제하기 위해 입력을 가능한 출력 영역에 매핑할 때 확률 분포를 사용하는 방법을 설명합니다. 이 개념은 가우시안 분포를 사용하여 코드가 샘플링되는 잠재 공간에서 원의 매개변수를 출력하는 VAE(변형 자동 인코더)에서 중요합니다. VAE 손실에는 재구성 항과 엔코더 출력이 정규 분포처럼 보이도록 강제하는 항이 포함되어 출력에 대해 한 지점만 학습하는 것을 방지하고 대신 동일한 지점으로 코딩해야 하는 큰 집합을 권장합니다. 화자는 오토인코더가 모든 입력을 단일 지점에 매핑하는 것을 선호하지만 추가 용어로 인해 지점이 평면의 중심에 가까워지고 약간의 변동이 있어 디스크 대신 디스크가 생성되는 이 손실의 대조되는 목표에 주목합니다. 개별 포인트.
00:30:00 강의의 이 섹션에서 연사는 자동 인코더에서 구조화된 잠재 공간을 사용하는 이점에 대해 논의합니다. 잠재 공간에 구조를 적용함으로써 오토인코더는 이미지 사이를 효과적으로 보간할 수 있으며, 이는 사용자가 두 유명인의 얼굴 사이에 슬라이더를 슬라이드하고 합리적인 방식으로 두 얼굴 사이에 슬라이더가 보간되는 것을 볼 수 있는 인기 있는 온라인 데모에 표시됩니다. 발표자는 잠재 벡터가 동일한 공간에 함께 살도록 강제하고 인근 벡터에서 인근 지점을 디코딩하는 Variational Autoencoder를 사용하여 이것이 가능하다고 설명합니다. 연사는 관련된 샘플링으로 인해 변형 자동 인코더의 교육 세부 사항이 까다로울 수 있지만 접근 방식은 임의적이며 다양한 응용 프로그램에 맞게 수정할 수 있다고 지적합니다.
00:35:00 강의의 이 섹션에서 발표자는 자연어 처리(NLP)와 같은 특정 분야에서 개별 토큰을 사용하는 방법에 대해 설명합니다. 백분율. 결과적으로 그는 VAE(Variational Autoencoder)를 확장하여 이산 토큰으로 작업하는 해킹으로 벡터 양자화를 사용하는 방법에 대해 논의합니다. 벡터 양자화에서 유효한 토큰의 코드북은 VAE의 모든 출력 벡터를 가장 가까운 토큰으로 반올림하는 데 사용되어 이산 데이터를 더 잘 표현할 수 있습니다. 그러나 코드북 선택은 여전히 어려운 과제입니다.
00:40:00 이 섹션에서 발표자는 데이터 분포 내에서 서로 다른 클러스터에 해당하는 코드 단어의 위치를 학습하는 데 사용되는 VAE(Variational Autoencoder)의 손실 함수에 대해 설명합니다. 손실 함수에는 디코더의 출력이 입력과 유사하도록 보장하는 재구성 손실과 인코더에서 출력되는 벡터가 이러한 클러스터의 중심을 나타내는 코드 단어에 가깝도록 보장하는 커밋 손실이 포함됩니다. 네트워크가 입력 데이터를 하드코딩하는 것을 방지하기 위해 인코더는 각 입력에 대해 여러 코드 단어를 생성하므로 코드 단어 세트가 더 커지고 네트워크가 더 다양한 출력을 생성할 수 있습니다.
00:45:00 비디오의 이 섹션에서 발표자는 정규 분포에서 일부 C를 샘플링하고 디코더를 통과하여 VQ-VAE로 새 이미지를 생성하는 방법에 대해 설명합니다. 전에 본. 또한 발표자는 실제 데이터 분포에서 일부 코드 단어가 다른 코드 단어보다 더 일반적으로 사용되기 때문에 코드북 요소의 균일한 샘플링이 효과적이지 않을 수 있다고 설명합니다. 따라서 코드 단어보다 사전을 학습하면 새로운 데이터를 생성하는 데 유용할 수 있습니다. 마지막으로 발표자는 오토인코더로 시작하여 변형 오토인코더로 이동하고 벡터 양자화 변형 오토인코더로 끝나는 강의 요약을 제공합니다.
GAN에 대한 강의에서는 게임 이론과 같은 설정에서 서로 경쟁하는 두 네트워크, 판별자와 생성자의 개념을 소개합니다. 생성기의 입력은 랜덤 노이즈로 의미를 부여하여 실제와 같은 이미지를 생성하고 판별기의 역할은 이미지가 진짜인지 가짜인지 판단하는 것입니다. GAN은 음의 교차 엔트로피 손실에 해당하는 손실 함수를 사용하며 생성자는 최소화하고 판별자는 최대화를 원합니다. 가치 함수는 생성기가 얼마나 잘 작동하는지를 나타내며 가짜 데이터와 실제 데이터를 올바르게 분류하여 판별기에 의해 최대화되어야 합니다. 이 강의에서는 GAN 교육 문제와 생성자가 더 많은 에이전시를 변경할 수 있도록 하는 비포화 손실에 대해서도 다룹니다.
00:00:00 이 섹션에서 강사는 이미지를 더 압축된 표현으로 압축하고 매핑하는 데 사용되는 잠재 변수 및 코드에 대한 검토를 제공합니다. 잠재 벡터에서 새 이미지를 생성하기 위해 자동 인코더를 사용하는 아이디어도 소개됩니다. 강사는 GAN(Generative Adversarial Networks)이 작용하는 우수하고 사실적인 이미지를 만드는 것이 무엇인지 판단하는 문제에 주목합니다. 하나는 데이터를 생성하고 다른 하나는 그것이 진짜인지 가짜인지 판단하는 두 개의 네트워크로, 네트워크는 게임 이론과 같은 설정에서 서로 경쟁합니다. 판별자가 이미지를 올바르게 분류하면 이기고 생성자가 판별자를 속이면 이깁니다.
00:05:00 이 섹션에서 강사는 서로 경쟁하는 두 네트워크(판별자와 생성자)를 포함하는 GAN의 기본 개념을 설명합니다. 병목 현상이 중간에 있는 자동 인코더와 달리 GAN은 생성기와 판별기 사이의 중간에 훨씬 더 높은 차원의 무언가가 있습니다. 생성기에 대한 입력은 다변량 가우시안에서 샘플링된 일종의 무작위 노이즈 벡터입니다. 그런 다음 생성기는 잠재 노이즈 변수를 입력하고 전체 입력 호스트 또는 전체 호스트의 실제 이미지를 생성할 수 있도록 임의의 의미를 할당하는 방법을 결정합니다. Discriminator와 Generator 네트워크는 다른 네트워크를 속이는 것을 목표로 둘 사이를 번갈아 가며 경사 하강법을 통해 함께 훈련됩니다.
00:10:00 이 섹션에서 강사는 이미지를 실제처럼 보이게 만드는 패턴을 파악하도록 생성기를 훈련시키기 위해 실제 및 가짜 데이터가 제공되는 네트워크를 통해 GAN이 작동하는 방식을 설명합니다. 판별자는 이미지가 진짜인지 가짜인지 판단하고 학습하면서 패턴을 알아차리기 시작하고 판단을 업데이트합니다. 희망은 생성기가 장면의 맥락에서 의미가 있는 더 많은 모양이나 개체로 무언가를 만들어 스스로 개선하는 방법을 배우는 것입니다. GAN의 손실 함수는 판별자의 분류 손실로만 구성되며 생성자 점수는 그 반대입니다. 제너레이터를 훈련시키려면 판별자가 제너레이터에게 피드백을 제공하기 위해 이미지를 잘 판단해야 합니다.
00:15:00 이 섹션에서 강사는 Generator를 개선하기 위해 이미지를 정확하게 분류할 수 있는 Discriminator의 중요성을 설명합니다. 판별기는 생성기보다 더 많이 업데이트되어야 할 수 있으므로 실제 이미지와 생성된 이미지 사이의 의미 있는 차이를 식별할 수 있습니다. 그런 다음 강사는 음의 교차 엔트로피 손실에 해당하는 손실 함수를 분해합니다. 생성자는 손실을 최소화하고 판별자는 최대화를 원합니다. 데이터가 진짜처럼 보이면 생성자가 이기고 실제 이미지와 가짜 이미지를 올바르게 구분하면 판별자가 이깁니다. 두 네트워크는 발전하고 더 나아지기 위해 서로 경쟁하는 게임 이론 시나리오에 있습니다.
00:20:00 비디오의 이 섹션에서 발표자는 기존 기계 학습 모델에서 사용되는 손실 함수와 반대되는 GAN의 가치 함수 개념을 설명합니다. 가치 함수는 생성기가 얼마나 잘 작동하는지를 나타내며 가짜 데이터와 실제 데이터를 올바르게 분류하여 판별기에 의해 최대화되어야 합니다. 생성기의 가중치는 첫 번째 단계에서 동결되어 판별자가 실제 및 가짜 데이터 배치에 대해 훈련될 수 있습니다. 두 번째 단계에서는 판별자가 고정되고 생성기의 가중치가 업데이트되어 약간 더 나은 가짜 이미지를 생성합니다. 이 과정은 생성자가 판별자가 가짜로 분류할 수 없는 사실적인 이미지를 생성할 때까지 반복됩니다.
00:25:00 이 섹션에서 발표자는 생성되는 클래스를 더 많이 제어하여 이미지를 생성하는 솔루션을 제공하는 조건부 GAN에 대해 설명합니다. 현재 GAN 설정에서는 원하는 개체 또는 이미지가 생성될 때까지 생성기에 무작위로 반복적으로 공급해야 하지만 더 많은 클래스가 있는 데이터 세트의 경우 이 접근 방식이 이상적이지 않습니다. 랜덤 노이즈 벡터에 원-핫 벡터를 추가하면 생성기가 생성되는 클래스를 더 많이 제어할 수 있습니다. 원-핫 벡터는 원하는 클래스에 해당하며 생성기는 해당 특정 클래스로 이미지를 생성하도록 훈련됩니다.
00:30:00 강의의 이 섹션에서 연사는 조건부 GAN 모델의 특정 기능을 사용하도록 생성기에 인센티브를 부여하는 아이디어에 대해 논의합니다. 발표자는 생성자가 주어진 정보를 사용할 동기가 없기 때문에 생성자에게 특정 이미지를 생성하라고 지시하는 것만으로는 충분하지 않다고 설명합니다. 솔루션은 생성된 이미지가 해당 레이블에 해당하는지 여부를 식별하는 전략을 생성하여 판별자에 동일한 레이블을 제공하는 것입니다. 이렇게 하면 생성자가 판별자에 의한 감지를 피하고 싶기 때문에 생성기가 레이블에 주의를 기울여야 하므로 지정된 레이블과 일치하는 출력이 생성됩니다. 생성기와 판별기의 아키텍처도 설명합니다.
00:35:00 이 시나리오에서 생성기의 가중치는 결국 0이 됩니다. 또한 제너레이터는 실수로 모드 붕괴에 빠질 수 있으며, 이 경우 판별자를 잘 속이는 작은 예제 세트만 출력합니다. 이 문제는 Discriminator가 매우 날카로운 결정 경계를 학습하고 Generator가 이러한 가짜 예제를 반복적으로 출력하도록 장려되기 때문에 발생합니다. 마지막으로 GAN의 기본 설정이 수렴되지 않고 손실 함수가 평평해지기 때문에 GAN의 교육 절차 문제도 있습니다.
00:40:00 이 섹션에서 강사는 학습을 어렵게 만들 수 있는 GAN의 몇 가지 일반적인 문제에 대해 설명합니다. 한 가지 문제는 실제 이미지의 특정 기능에 과대적합하려고 시도하는 판별자와 생성자와 판별자 사이에 항상 트레이드 오프가 있으며 GAN이 훈련을 완료했는지 알 수 있는 명확한 방법이 없다는 것입니다. 그런 다음 강사는 생성기 목적의 단순한 재구성인 비포화 손실을 검토하고 판별기가 생성된 이미지를 가짜로 인식할 때 생성기가 작은 편도함수만 얻는 문제를 해결합니다. 비포화 손실은 대체 항을 최대화하고 생성자가 더 많은 변경 권한을 가질 수 있도록 합니다.
00:45:00 이 섹션에서 강사는 GAN에서 사용되는 교차 엔트로피 손실 뒤에 있는 수학적 요령을 설명합니다. 맹목적으로 음의 교차 엔트로피 손실을 최소화하려고 시도하는 대신 생성기의 목표는 이진 클래스 교차 엔트로피 종류의 손실을 사용하여 1로 분류될 확률을 최대화하는 것입니다. 이 비포화 손실은 더 큰 생성기 기울기를 제공하므로 판별자가 생성기를 종료할 때 더 빠르게 훈련할 수 있습니다. 그러나 강사는 이것이 퀴즈나 숙제가 없는 고급 자료이지만 고급 GAN 교육 기술에 대해 더 많이 이야기할 수 있다고 말합니다.
고급 GAN에 대한 이 강의에서는 이중 선형 업샘플링, 전치 컨볼루션, 조건부 GAN, StyleGAN 및 CycleGAN을 포함하여 GAN 모델의 안정성과 품질을 향상시키는 다양한 기술을 다룹니다. 이 강의에서는 제어된 임의 노이즈의 사용, 적응형 인스턴스 정규화 및 GAN의 비디오 처리에 대해서도 설명합니다. 더 나은 안정성과 결과를 얻기 위해 강사는 더 큰 배치 크기를 사용하고 테스트 중에 무작위 노이즈 범위를 자르는 동시에 판별자를 과도하게 너프하지 않도록 주의할 것을 권장합니다. 또한 다양한 이미지를 생성하기 위해 다양한 크기의 잠재 공간을 광범위하게 분배하는 것으로 시작하는 것이 좋습니다. 마지막으로 강의는 매우 큰 규모의 GAN을 생성하는 데 도움이 되는 Big Gan에 대해 다룹니다.
00:00:00 이 섹션에서 발표자는 컴퓨터 비전의 맥락에서 GAN의 주제를 소개하고 컴퓨터 비전을 위한 GAN 아키텍처 구축에 대해 논의합니다. 화자는 분류 CNN인 판별자와 잠재 벡터 이미지를 업샘플링해야 하기 때문에 더 어려운 생성기에 초점을 맞춥니다. 발표자는 또한 최근접 이웃 업샘플링을 포함하여 다운샘플링 및 업샘플링 기술에 대해 논의합니다. 이는 기존 기능 맵의 모든 단일 셀을 복제하여 이미지가 흐려지는 순진한 접근 방식입니다.
00:05:00 이 섹션에서 강사는 GAN의 생성기에 대한 기능 맵을 업샘플링하는 방법에 대해 설명합니다. 그는 먼저 더 크고 비어 있는 기능 맵을 가져와 가장 가까운 모든 이웃의 평균으로 채워 새 기능 맵을 만드는 쌍선형 업샘플링에 대해 설명합니다. 그런 다음 그는 특성 맵을 너무 많은 패딩으로 채우는 전치 컨볼루션을 도입하여 컨볼루션 창이 그 위로 미끄러질 때까지 출력 특성 맵이 입력보다 더 커집니다. 강사는 이것이 기능 맵을 업샘플링하는 가장 일반적인 방법이며 일반적으로 생성기를 더 크게 만드는 데 충분하다고 지적합니다.
00:10:00 강의의 이 섹션에서 연사는 조건부 GAN과 생성기에서 이를 처리하는 방법에 대해 논의합니다. 생성기에 대한 입력에는 이제 생성할 항목을 알려주는 잠재 및 조건부 벡터가 포함됩니다. 화자는 벡터를 함께 연결하거나 연결하기 전에 별도로 처리할 것을 제안합니다. 또한 판별자에게 여러 항목을 전달하는 방법도 간략하게 다룹니다. 그런 다음 강의는 예술적 감각과 컨볼루션 작업 전에 잠재 벡터의 전처리를 포함하는 생성기의 새로운 아키텍처인 StyleGAN으로 전환됩니다.
00:15:00 이 섹션에서 발표자는 더 나은 텍스처를 생성하기 위해 인코딩된 스타일에 대한 모든 다른 컨볼루션 액세스를 제공하기 위해 잠재성을 공급해야 할 필요성에 대해 논의합니다. 텍스처는 임의의 노이즈이므로 모델에 임의성의 소스를 제공하는 것이 훨씬 더 쉬울 것입니다. 이 섹션에서는 생성기를 두 개의 서로 다른 구성 요소로 나누는 사용된 아키텍처를 소개합니다. 첫 번째는 잠재 벡터가 생성기에 공급되는 원하는 것입니다. 원하는 구성 요소의 도입은 특정 이미지를 생성하기 어렵게 만드는 사용할 수 없는 잠재 공간 문제를 해결하기 위해 잠재를 전처리하는 것입니다. 전처리 과정에는 W라는 새로운 수정된 잠재성을 얻을 때까지 밀집된 레이어를 통해 잠재성을 전달하는 작업이 포함됩니다.
00:20:00 이 섹션에서는 비디오에서 AdaIN(Adaptive Instance Normalization)의 개념과 이것이 네트워크에 스타일을 도입하는 방법에 대해 설명합니다. AdaIN은 배치 표준을 대체하고 스타일 벡터를 사용하여 크기 조정 및 재편향을 얼마나 많이 해야 하는지 지시하므로 보다 의미 있는 결과를 얻을 수 있습니다. 스타일 벡터는 완전히 연결된 하나의 레이어를 통과하며 모든 활성화를 재조정하고 재바이어스하는 데 사용됩니다. 최종 목표는 순전히 무작위 노이즈인 많은 수의 기능 맵을 생성하여 무작위성에 대한 액세스를 높이는 것입니다.
00:25:00 이 섹션에서 강사는 네트워크가 학습된 B 값에 따라 노이즈의 양을 늘리거나 줄일 수 있도록 제어된 임의 노이즈를 각 기능 맵에 추가하는 방법에 대해 설명합니다. 이 제어된 무작위 노이즈는 더 나은 질감과 결점을 생성하여 개별 머리카락과 주름을 생성할 수 있도록 합니다. 제어된 노이즈는 모든 컨벌루션 후에 추가되며 네트워크가 노이즈의 크기를 제어할 수 있습니다. 강의는 또한 모든 레이어에 통합된 잠재 벡터를 포함하여 스타일 GAN의 새로운 혁신과 스타일을 천천히 도입하기 위한 적응형 인스턴스 정규화의 사용에 대해 논의합니다.
00:30:00 이 섹션에서 강사는 두 가지 고급 GAN 기술인 StyleGAN과 CycleGAN에 대해 설명합니다. StyleGAN은 임의의 노이즈를 통해 텍스처가 크게 개선된 임의의 얼굴을 생성하는 반면 CycleGAN은 한 데이터 세트에서 다른 데이터 세트로 이미지를 전송합니다. 하나의 손실 항은 변환된 이미지의 현실감에 전념하고 다른 하나는 이미지를 원래 상태로 복원할 수 있는지 여부를 측정합니다. CycleGAN은 사실적인 사진을 찍어 모네 그림으로 변환하고, 얼룩말을 말로 바꾸고, 사진의 계절을 바꿀 수 있습니다. 비디오의 프레임 간에는 일관성이 없지만 이 기술은 여전히 괜찮은 결과를 생성할 수 있습니다.
00:35:00 이 섹션에서 화자는 비디오를 사용하여 진짜 비디오와 가짜 비디오를 식별하도록 discriminator를 훈련시킬 수 있지만 이미지 처리에 비해 상당한 계산이 필요하다고 설명합니다. 비디오는 프레임 단위로 처리되어야 하지만 프로세스를 보다 효율적으로 만들기 위해 일부 프레임을 건너뛸 수 있습니다. 판별자는 한 프레임에서 다른 프레임으로 생성된 비디오의 일관성을 보장하는 데 사용할 수 있습니다. 또한 연사는 원숭이를 말로 변환하는 것과 같은 일부 데모에서 GAN 모델을 사용할 때 항상 효율적으로 작동하지 않을 수 있고 결과가 예상과 다를 수 있으므로 주의할 것을 조언합니다. 마지막으로 연사는 더 큰 배치 크기와 더 큰 모델에 더 많은 데이터가 투입될 때 GAN이 어떻게 확장되는지에 대해 논의하고 안정성, 신뢰성, 다양성 및 품질 간의 절충점을 설명합니다.
00:40:00 이 섹션에서 강사는 GAN으로 더 나은 안정성과 결과를 얻기 위한 몇 가지 요령에 대해 설명합니다. 더 나은 안정성을 위한 한 가지 핵심은 더 큰 배치 크기를 사용하는 것인데, 이는 GAN과 같은 복잡한 작업에 특히 유용합니다. 또 다른 팁은 모델의 경험을 벗어난 결과를 피하기 위해 테스트 중에 임의 노이즈의 범위를 자르는 것입니다. 그러나 이것은 생성된 이미지의 다양성을 제한하는 트레이드 오프와 함께 제공됩니다. 강사는 또한 좋은 결과를 얻기 위해서는 훈련 중 약간의 불안정성을 수용하는 것이 필요하다고 강조하고 판별자를 과도하게 너프하는 것에 대해 경고합니다.
00:45:00 이 섹션에서 발표자는 생성기가 유사한 이미지를 반복적으로 생성하여 다양한 이미지를 생성하기 어렵게 만들 수 있으므로 잠재 공간에 대해 좁은 분포를 사용하지 않도록 주의합니다. 발표자는 이미지를 생성하는 방법에 대한 우수한 초기 아이디어를 모델에 제공하기 위해 다양한 크기의 광범위한 분포로 시작할 것을 제안합니다. 또한 그들은 단일 이미지를 무작위로 생성하는 것 외에도 판별 기능이 여러 가지 방법으로 도움이 될 수 있음을 공유합니다. 마지막으로 그들은 매우 큰 규모의 GAN을 생성하는 데 도움이 되는 Big Gan을 소개합니다.
CS 198-126: 강의 2 - 딥 러닝 소개, 1부
CS 198-126: 강의 2 - 딥 러닝 소개, 1부
딥 러닝 입문에 대한 이 YouTube 강의에서 강사는 딥 러닝 모델의 기본 사항과 경사 하강법을 사용하여 모델을 교육하는 방법, 신경망의 다양한 구성 요소 및 딥 러닝이 널리 보급된 기술인 이유에 대해 설명합니다. 강의에서는 퍼셉트론을 소개하고 다중 퍼셉트론을 적층하여 보다 복잡하고 정교한 신경망을 만들고 행렬 곱셈과 최종 가산으로 출력을 계산하는 방법을 설명하며 중간 계층은 ReLU 활성화 함수를 사용합니다. 연사는 Softmax 함수 및 ReLU 활성화 함수의 사용, 모델이 얼마나 잘 수행되고 있는지 평가하기 위한 메트릭으로 손실 함수를 사용하는 방법, 경사 하강법 최적화의 개념을 다룹니다. 마지막으로 강사는 딥 러닝의 아이디어와 어떻게 큰 신경망이 데이터를 기억할 수 있는 능력에도 불구하고 낮은 손실을 유도하는지에 대해 설명합니다. 또한 강사는 특정 데이터 세트로 성능을 향상시키기 위해 신경망에서 하이퍼파라미터 튜닝의 개념을 소개합니다. 그는 하이퍼파라미터에 대한 보편적인 값이 없다고 지적하고 레이어 번호 및 활성화 함수와 같은 다양한 옵션을 탐색할 것을 제안합니다. 시간 제약으로 인해 강의가 갑자기 끝났지만 강사는 학생들에게 다가오는 퀴즈가 지나치게 어렵지 않고 GreatScope 플랫폼에서 액세스할 수 있다고 확신합니다.
CS 198-126: 강의 3 - 딥 러닝 소개, 2부
CS 198-126: 강의 3 - 딥 러닝 소개, 2부
강의의 이 섹션에서는 중복 연산을 수행하지 않고 경사하강법 알고리즘에 필요한 모든 편도함수를 더 빠르게 얻을 수 있는 역전파(backpropagation)의 개념을 설명합니다. 또한 강사는 딥러닝 최적화를 위한 바닐라 그래디언트 디센트를 개선하는 방법에 대해 논의하고 최적화 방법으로 모멘텀, RMSprop 및 Adam을 소개합니다. 모델의 훈련 이력을 추적하는 것의 중요성, 배치 정규화 사용, 모델 성능을 개선하기 위한 기술로서의 앙상블뿐만 아니라 드롭아웃 및 건너뛰기 연결과 같은 과적합을 줄이는 데 도움이 되는 딥 러닝에서 일반적으로 사용되는 기술에 대해서도 설명합니다. 마지막으로 강사는 PyTorch의 사용 편의성에 대해 간략하게 설명하고 질문을 시작합니다.
CS 198-126: 강의 4 - 사전 훈련 및 증강 소개
CS 198-126: 강의 4 - 사전 훈련 및 증강 소개
이 강의에서 연사는 기계 학습에서 특징 추출의 진화, 딥 러닝의 장점, 전이 학습을 사용하여 모델의 정확도와 속도를 향상시키는 방법에 대해 설명합니다. 또한 신경망에서 레이어를 고정하고 미세 조정하는 개념과 범주형 변수의 차원을 줄이는 임베딩의 중요성에 대해 논의합니다. 이 강의에서는 모델을 사전 훈련하고 학습된 표현을 다운스트림 작업으로 전송하는 데 사용할 수 있는 직소, 회전 및 마스킹된 단어 예측 작업을 포함하여 자기 지도 학습과 다양한 작업을 소개합니다. 마지막으로 컴퓨터 비전에서 자기주도 학습에 대한 새로운 관심이 논의되고 학생들이 하이크러쉬 노트북에서 숙제를 완료하도록 격려하는 강의가 진행됩니다.
테이블 형식 데이터에는 간단하지만 텍스트, 오디오 또는 이미지와 같은 데이터에는 복잡합니다. 그러나 이미지의 경우 기존 컴퓨터 비전에서 사용할 수 있는 특수한 특징 추출기가 있습니다.
CS 198-126: 강의 5 - 컴퓨터 비전 소개
CS 198-126: 강의 5 - 컴퓨터 비전 소개
컴퓨터 비전에 대한 강의는 컴퓨터 비전의 역사와 수년에 걸친 발전을 포함하여 다양한 주제를 다룹니다. 강사는 또한 딥 러닝과 그것이 고전적인 컴퓨터 비전 방법에서 어떻게 향상되는지 설명합니다. 이 강의는 컨볼루션의 개념과 컴퓨터 비전에서 특징 추출기로 어떻게 사용되어 컨볼루션 신경망(CNN)을 생성하는지에 대해 자세히 설명합니다. 또한 강의에서는 수용 영역의 역할에 대해 논의하고 CNN의 수용 영역을 증가시키는 방법으로 풀링 레이어를 소개합니다. 전반적으로 강의는 분야로서의 컴퓨터 비전의 개요와 이미지에서 정보를 추출하는 데 사용되는 기술을 제공합니다. 강의 2부에서는 패딩(padding) 및 동일한 패딩(same padding)을 포함하여 컨볼루션 동안 이미지 크기를 유지하는 다양한 기술에 대해 설명합니다. 컨볼루션 레이어의 보폭 개념도 다루어 풀링 레이어의 효과를 모방할 수 있는 방법을 보여줍니다. 커널 크기, 스트라이드, 패딩 및 풀링 레이어를 포함하여 CNN과 하이퍼 매개변수의 구조를 설명하고 컨벌루션 레이어가 기능의 저차원 블록을 완전히 연결된 기능으로 전달하는 기능 추출기 역할을 하는 방법을 강조합니다. 분류를 위한 네트워크. 강의는 또한 필기 숫자를 분류하기 위한 LeNet 네트워크 아키텍처와 신경망을 통과하기 전에 이미지 데이터를 정규화하는 것의 중요성을 다룹니다. 마지막으로 학습 데이터를 추가로 생성하는 기법으로 데이터 증대(Data Augmentation)에 대해 논의하고, 학습 중 모델 체크포인팅의 중요성을 강조한다.
CS 198-126: 강의 6 - 고급 컴퓨터 비전 아키텍처
CS 198-126: 강의 6 - 고급 컴퓨터 비전 아키텍처
고급 컴퓨터 비전 아키텍처에 대한 이 강의는 합성곱 신경망(CNN)과 다양한 기술에 중점을 둡니다. 강사는 AlexNet 및 VGG의 아키텍처를 설명하고 더 높은 정확도와 더 간단한 아키텍처를 위해 후방 잔차 값을 유지하기 위한 잔차와 같은 고급 기술을 탐구합니다. 컴퓨터 비전 아키텍처에서 정체성을 학습할 수 있는 것의 중요성뿐만 아니라 병목 현상 및 일대일 컨볼루션의 사용에 대해 논의합니다. 강의는 또한 신경망의 기울기 소실 문제와 배치 정규화 및 잔여 네트워크로 완화할 수 있는 방법을 다룹니다. Global average pooling, depth-wise separable convolution과 같은 기술에 대해 심도 있게 설명하고 모바일 네트워크 아키텍처와 그 이점에 대해 논의합니다.
또한 강사는 고급 컴퓨터 비전 아키텍처를 살펴보고 단계별 로컬 컨벌루션과 하나씩 컨벌루션을 사용하여 컨볼루션 신경망 모델을 최적화하는 데 중점을 둡니다. 그는 이러한 최적화를 이해하는 것의 중요성과 미래의 네트워크를 효율적으로 구축하는 데 있어 특정 최적화에서 발생할 수 있는 문제를 강조합니다. 강의는 정확도, 성능 및 모델 크기 사이의 균형에 대한 논의로 마무리되며 효율적인 네트워크 모델과 다른 네트워크의 비교를 통해 강조됩니다. 학생들은 다가오는 퀴즈와 다음 금요일까지의 숙제에 대해 알립니다.
CS 198-126: 강의 7 - 물체 감지
CS 198-126: 강의 7 - 물체 감지
객체 감지, 특히 간단한 분류 CNN에 지역화 추가, 객체 감지를 위한 IOU 방법, R-CNN 시스템, YOLO로 처리 시간을 최소화하기 위한 객체 감지 알고리즘 최적화에 대해 강의합니다. 이 비디오는 이미지를 잘라서 YOLO를 설명하고 앵커 박스를 사용하여 모호함을 제거하는 것을 포함하여 YOLO 객체 감지의 문제에 대해 설명합니다. 마지막으로 객체 감지를 위한 완전 컨벌루션 신경망인 YOLO 아키텍처를 탐색하고 분류를 위한 많은 수의 클래스 저장이 진행 중인 연구 문제로 제시됩니다. 화자는 읽을 수 없기 때문에 RCNN에 대해 조언하면서 "The Yellow Paper"를 읽을 것을 권장합니다.
CS 198-126: 강의 8 - 의미 분할
CS 198-126: 강의 8 - 의미 분할
강의에서는 시맨틱 분할과 인스턴스 분할을 포함한 이미지 분할에 대해 설명합니다. 분할의 주요 목표는 이미지의 모든 객체를 감지하고 분리하는 것입니다. 강사는 CNN(컨볼루션 신경망)을 시맨틱 분할에 사용하는 방법과 다운샘플링이 계산 비용이 많이 드는 전체 해상도 이미지에 어떻게 도움이 되는지 설명합니다. 작은 볼륨을 다시 이미지 크기로 변환하는 다양한 접근 방식에 대해서도 설명합니다. 강의에서는 이전의 개선사항과 스킵 연결을 결합한 시맨틱 분할 모델인 U-Net을 소개하고 이를 Mask R-CNN 접근 방식을 사용하여 인스턴스 분할로 확장할 수 있는 방법을 설명합니다. 사전 훈련된 시맨틱 세분화 모델이 시연되고 발표자는 사전 훈련 및 향후 과정 할당에 대해 이야기합니다.
CS 198-126: 강의 9 - 자동 인코더, VAE, 생성 모델링
CS 198-126: 강의 9 - 자동 인코더, VAE, 생성 모델링
이 강의에서는 기계 학습을 사용하여 데이터 세트를 기반으로 새로운 이미지를 생성하는 Generative Modeling의 개념을 소개합니다. 특징 학습에 사용되는 신경망의 일종인 Autoencoder의 구조와 압축 및 재구성을 통해 입력 데이터의 특징을 학습하는 방법에 대해 설명합니다. 강의는 또한 변형 자동 인코더와 그 이점뿐만 아니라 이미지 사이를 보간하기 위해 자동 인코더에서 구조화된 잠재 공간을 사용하는 방법도 다룹니다. 불연속 데이터로 작업하기 위한 벡터 양자화의 중요성에 대해 논의하고 변형 자동 인코더의 손실 함수에 대해 설명합니다. 여기에는 입력 데이터의 하드코딩을 방지하기 위한 재구성 손실과 커밋 손실이 포함됩니다. 강의는 다룬 주제를 요약하는 것으로 끝납니다.
CS 198-126: 강의 10 - GAN
CS 198-126: 강의 10 - GAN
GAN에 대한 강의에서는 게임 이론과 같은 설정에서 서로 경쟁하는 두 네트워크, 판별자와 생성자의 개념을 소개합니다. 생성기의 입력은 랜덤 노이즈로 의미를 부여하여 실제와 같은 이미지를 생성하고 판별기의 역할은 이미지가 진짜인지 가짜인지 판단하는 것입니다. GAN은 음의 교차 엔트로피 손실에 해당하는 손실 함수를 사용하며 생성자는 최소화하고 판별자는 최대화를 원합니다. 가치 함수는 생성기가 얼마나 잘 작동하는지를 나타내며 가짜 데이터와 실제 데이터를 올바르게 분류하여 판별기에 의해 최대화되어야 합니다. 이 강의에서는 GAN 교육 문제와 생성자가 더 많은 에이전시를 변경할 수 있도록 하는 비포화 손실에 대해서도 다룹니다.
CS 198-126: 강의 11 - 고급 GAN
CS 198-126: 강의 11 - 고급 GAN
고급 GAN에 대한 이 강의에서는 이중 선형 업샘플링, 전치 컨볼루션, 조건부 GAN, StyleGAN 및 CycleGAN을 포함하여 GAN 모델의 안정성과 품질을 향상시키는 다양한 기술을 다룹니다. 이 강의에서는 제어된 임의 노이즈의 사용, 적응형 인스턴스 정규화 및 GAN의 비디오 처리에 대해서도 설명합니다. 더 나은 안정성과 결과를 얻기 위해 강사는 더 큰 배치 크기를 사용하고 테스트 중에 무작위 노이즈 범위를 자르는 동시에 판별자를 과도하게 너프하지 않도록 주의할 것을 권장합니다. 또한 다양한 이미지를 생성하기 위해 다양한 크기의 잠재 공간을 광범위하게 분배하는 것으로 시작하는 것이 좋습니다. 마지막으로 강의는 매우 큰 규모의 GAN을 생성하는 데 도움이 되는 Big Gan에 대해 다룹니다.