Mandy와 함께하는 Steeplezer 데모에 오신 것을 환영합니다. 이 에피소드에서는 신경망에서 사용되는 컨볼루션 작업에 대한 이해를 높이기 위해 deeplister.com의 대화형 컨볼루션 데모 애플리케이션을 살펴보겠습니다.
컨볼루션 연산은 필터와 슬라이딩 윈도우를 사용하여 입력을 출력에 매핑하기 위한 컨볼루션 신경망의 중요한 구성 요소입니다. 보다 근본적인 이해를 위해 컨볼루션 작업과 신경망에서의 역할을 설명하는 전용 에피소드가 있습니다. 이제 deeplister.com에서 대화형 컨볼루션 데모 애플리케이션을 활용하여 이 작업에 대한 이해를 심화하는 방법에 초점을 맞추겠습니다. 응용 프로그램 페이지에서 처음에는 위쪽 부분이 표시되고 나중에 아래쪽 부분을 보기 위해 아래로 스크롤합니다. 데모 애플리케이션을 사용하면 주어진 입력에 대해 작동 중인 컨볼루션 작업을 확인하고 출력이 파생되는 방식을 관찰할 수 있습니다. 데모에서 작업할 수 있는 몇 가지 옵션이 있습니다. 첫째, 전체 화면 모드 사이를 전환할 수 있습니다. 둘째, MNIST를 사용하고 있으므로 데이터 세트를 선택하고 작업할 숫자를 0에서 9까지 선택할 수 있습니다.
신경망의 컨벌루션 레이어에서는 훈련 과정에서 필터 값을 학습하여 가장자리, 모양 또는 질감과 같은 다양한 패턴을 감지합니다. 이 데모에서는 에지 필터와 같은 다양한 필터 세트 중에서 선택하여 예제 컨볼루션을 관찰할 수 있습니다. 첫 번째 예에서는 왼쪽 가장자리 필터를 선택하여 MNIST 데이터 세트에서 숫자 9의 이미지에 적용합니다. 이러한 옵션을 구성하면 데모를 진행할 준비가 된 것입니다. 숫자 9의 입력 이미지가 표시되며 각 작은 사각형은 픽셀과 그 값을 나타냅니다. 3x3 픽셀 블록과 선택된 왼쪽 가장자리 필터에 초점을 맞춥니다. 컨볼루션 연산에는 입력 및 필터 값의 요소별 곱셈과 최종 출력을 얻기 위한 합산이 포함됩니다.
각 픽셀 위로 마우스를 가져가면 입력 값과 필터 값 사이에서 발생하는 곱셈을 관찰할 수 있습니다. 모든 제품을 합산한 후 컨볼루션 후 전체 이미지를 나타내는 결과 출력을 맨 아래에 저장합니다. 단계 버튼을 클릭하여 입력 블록을 오른쪽으로 한 픽셀 이동하고(스트라이드 1) 다시 컨볼루션 연산을 수행합니다. 이 프로세스는 최종 출력에 도달할 때까지 계속됩니다. 데모를 재생하여 이러한 작업을 자동화하고 일시 중지하여 특정 픽셀을 검사할 수도 있습니다.
출력은 긍정적인 활성화를 주황색 또는 빨간색 픽셀로 나타내며 필터에 의해 감지된 왼쪽 가장자리를 나타냅니다. 부정적인 활성화는 오른쪽 가장자리를 나타내는 파란색 픽셀로 표시됩니다. 값 활성화 함수는 일반적으로 컨볼루션 출력에 적용되어 양수 값을 유지하고 음수 값을 0으로 설정합니다. 출력 값 위로 마우스를 가져가면 해당 입력 및 필터 값과 연관시킬 수 있습니다. 결과 출력은 왼쪽 가장자리를 나타내는 긍정적인 활성화 모음입니다. 나머지 데모를 재생하여 최종 출력을 볼 수 있습니다. 반대 효과를 보여주기 위해 오른쪽 가장자리 필터로 전환하여 양수 및 음수 픽셀이 교환된 동일한 출력을 생성합니다.
또 다른 예로 Fashion MNIST 데이터 세트로 전환하고 티셔츠 이미지를 선택합니다. "상단" 에지 필터를 적용하면 상단 및 하단 에지 감지를 관찰할 수 있습니다.
deeplister.com의 데모에서 다양한 예제를 자유롭게 탐색하여 컨볼루션 작업에 대한 이해를 심화하십시오. 시청해 주셔서 감사합니다. YouTube의 두 번째 채널인 "The Blizzard Vlog"에서 더 많은 콘텐츠를 확인해 보세요. 해당 블로그 게시물을 보려면 beeplezer.com을 방문하고 독점 특전과 보상을 위해 Deep Blizzard Hive Mind에 가입하는 것을 잊지 마십시오.
딥 러닝 과정에서 성공하려면 컴퓨터 과학 및 수학에 대한 배경 지식이 필요합니다. 특히 데이터 구조, 선형 대수학 및 다변수 미적분학 과정을 수강했어야 합니다. 이러한 각 전제 조건의 중요성에 대해 자세히 살펴보겠습니다.
이 상위 학부 컴퓨터 과학 과정에서는 프로그래밍 배경 지식이 중요합니다. 데이터 구조는 충분한 프로그래밍 경험이 있는지 확인하기 위한 전제 조건 역할을 합니다. 데이터 구조에서 발생하는 알고리즘 효율성과 관련된 개념을 이해하는 것도 도움이 될 것입니다.
이 과정에서 내 비디오는 주로 의사 코드를 사용하거나 계산을 수학적으로 표현합니다. 그러나 할당에는 Python과 Julia 모두에서 프로그래밍이 필요합니다. Python은 TensorFlow 및 PyTorch와 같은 딥 러닝 라이브러리에 널리 사용되므로 이러한 도구를 사용하여 연습할 수 있습니다. 반면 Julia는 수학과 계산 사이의 격차를 해소하는 데 탁월하여 신경망의 내부 작동을 더 쉽게 이해할 수 있습니다.
수학적 관점에서 우리는 선형 대수학 및 다변수 미적분학의 개념을 활용할 것입니다. 그러나 우리가 초점을 맞출 특정 개념은 해당 과정에서 일반적으로 가르치는 내용의 일부에 불과합니다. 이 과정 중 하나만 수강했다면 비교적 빠르게 다른 과정에서 필요한 개념을 따라잡을 수 있어야 합니다.
선형 대수학에서는 행렬 표기법에 익숙해지는 것이 필수적입니다. 딥 러닝에는 벡터, 행렬 및 고차원 배열(텐서)에 대한 작업이 포함됩니다. 행렬-벡터 곱, 행렬 및 벡터에 함수 적용, 내적 및 노름과 같은 연산에 능숙해야 합니다.
다변수 미적분은 과정 전체에서 사용되는 핵심 개념인 기울기를 이해하는 데 매우 중요합니다. 제품 규칙 및 몫 규칙과 같은 기본 미적분학에서 배운 규칙을 사용하여 기울기를 평가하고 편도함수를 취하는 것이 편해야 합니다.
선형 대수 또는 다변수 미적분학에 대한 지식이 확실하지 않은 경우 이러한 주제를 다지는 데 도움이 되는 Grant Sanderson의 비디오 재생 목록을 제공합니다. 재생 목록에서 강조 표시된 비디오는 과정에서 사용할 특정 개념을 다룹니다.
이러한 필수 과목에 대한 탄탄한 배경 지식을 갖추면 과정 첫 주에 활동과 과제를 수행하고 딥 러닝에 성공할 수 있는 준비가 잘 됩니다.
Davidson CSC 381: Deep Learning, Fall 2022Suggested linear algebra playlist: https://www.youtube.com/watch?v=fNk_zzaMoSs&list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE...
신경망은 수많은 연결을 가진 수많은 노드로 구성됩니다. 이를 더 잘 이해하기 위해 개별 뉴런에 초점을 맞추고 기능, 나타낼 수 있는 모델 유형 및 이러한 모델을 훈련할 수 있는 방법을 살펴보겠습니다.
신경망의 노드는 입력을 수신하고 간단한 계산을 수행하여 수치 출력을 생성합니다. 이 계산에는 두 단계가 포함됩니다. 첫째, 입력에 해당 가중치를 곱하고 합산합니다. 그런 다음 가중 입력의 합이 활성화 기능을 통해 전달되어 출력을 생성합니다.
수학적으로 출력은 가중 입력의 합에 활성화 함수(f로 표시)를 적용하여 얻습니다. 따라서 출력은 해당 입력과 편향 항을 곱한 각 가중치의 합에 활성화 함수를 적용한 결과입니다.
편향은 모든 입력이 0인 경우에도 합계가 0이 아닌 것을 허용합니다. 바이어스를 또 다른 가중치로 생각하고 노드에 들어가는 추가 화살표로 나타낼 수 있습니다. 모든 뉴런은 입력에 대해 가중 합계를 수행하지만 서로 다른 뉴런은 서로 다른 활성화 기능을 가질 수 있습니다.
단일 뉴런 모델의 경우 주목할만한 두 가지 활성화 함수는 선형 및 단계 함수입니다. 선형 활성화 함수를 사용하면 뉴런이 회귀를 수행할 수 있고 단계 함수를 사용하면 분류를 수행할 수 있습니다.
입력값이 하나인 뉴런의 경우 입력값에 가중치를 곱하고 편향을 더해 입력값의 가중합을 계산한다. 선택한 선형 활성화 함수 y = x를 사용하면 가중치(w1) 및 편향(b) 매개변수를 사용하여 x1의 모든 선형 함수를 표현할 수 있습니다. 따라서 이 뉴런은 1차원 입력(x1)과 1차원 출력(y)으로 모든 선형 함수를 계산할 수 있습니다.
뉴런에 더 많은 입력이 있으면 매핑이 다차원 입력으로 확장되지만 회귀에 적합한 선형 함수로 유지됩니다. 그러나 입력 차원이 증가함에 따라 함수를 시각화하는 것이 어려워집니다.
입력이 두 개인 뉴런의 경우 단계 함수를 활성화로 사용합니다. 입력의 가중 합계는 여전히 계산되며 합계가 양수가 되면 활성화가 0에서 1로 전환됩니다. 활성화는 구분 함수를 사용하여 설명할 수 있으며, 0 또는 1 출력을 초래하는 입력 간의 결정 경계는 입력의 가중 합이 0인 곳입니다. 이 설정은 입력이 뉴런의 출력에 따라 0 또는 1로 레이블이 지정되는 분류 작업에 적합합니다.
단일 뉴런을 사용하여 회귀 또는 분류를 수행하려면 입력-출력 쌍으로 구성된 데이터 세트가 필요합니다. 선택된 활성화 함수는 출력이 이진수(0 또는 1)인지 또는 연속인지에 따라 다릅니다. 입력 예제의 차원은 단일 뉴런 모델의 입력 및 가중치 수를 결정합니다.
신경망 또는 단일 뉴런을 교육하려면 데이터에서 모델의 편차를 정량화하는 손실 함수를 정의해야 합니다. 회귀 작업의 경우 제곱 오차의 합을 사용할 수 있는 반면 이진 출력이 있는 분류 작업은 다른 적절한 손실 함수를 사용할 수 있습니다.
학습 목표는 손실을 최소화하고 모델의 정확도를 향상시키는 방식으로 매개변수(가중치 및 편향)를 업데이트하는 것입니다. 경사 하강법은 매개변수를 업데이트하고 손실을 줄이는 데 사용되는 일반적인 최적화 기술입니다.
다음 비디오에서는 그래디언트 디센트의 개념과 모델의 성능을 개선하기 위해 매개변수 업데이트를 용이하게 하는 방법에 대해 자세히 설명합니다.
이전 비디오에서는 단일 뉴런의 계산을 살펴보았습니다. 우리는 뉴런이 입력의 가중 합을 취하고 편향을 추가하고 활성화 함수를 적용하여 계산한다는 것을 배웠습니다. 활성화에 단계 함수를 사용하면 이진 분류기가 제공되고 선형 함수는 회귀자가 제공됩니다.
또한 제곱 오차의 합을 사용하여 데이터 세트에서 모델의 손실을 측정하고 손실 함수의 기울기를 사용하여 모델을 교육하는 방법에 대해서도 논의했습니다. 손실 함수는 모델의 매개변수, 즉 가중치와 편향에 따라 다릅니다. 평균 제곱 오차는 일반적으로 계산에서 손실 함수로 사용됩니다.
손실 함수가 매개 변수에 어떻게 의존하고 손실을 줄이기 위해 어떻게 수정할 수 있는지 이해하기 위해 작은 회귀 데이터 세트에서 손실을 계산했습니다. 올바른 출력과 예측된 출력 사이의 제곱 차이를 합산하여 손실 값을 얻었습니다.
다음으로 손실 함수의 기울기를 찾는 데 중점을 두었습니다. 각 매개변수에 대한 손실의 편도함수를 도출했습니다. 이러한 편도함수는 기울기를 형성하여 손실을 줄이는 데 도움이 됩니다. 그래디언트의 반대 방향으로 매개변수를 업데이트하면 손실을 최소화하고 모델의 데이터셋 표현을 개선할 수 있습니다.
손실 함수를 매개변수 공간의 표면으로 시각화하고 그래디언트가 손실의 가장 급격한 증가 방향을 나타내는 방법에 대해 논의했습니다. 그래디언트의 반대 방향으로 작은 단계를 수행하면 반복적으로 손실을 줄이고 모델을 개선할 수 있습니다.
분류 작업의 경우 단계 함수 활성화의 미분을 수행할 때 문제가 발생했습니다. 이를 극복하기 위해 단계 함수를 시그모이드 함수라는 매끄러운 근사로 대체했습니다. 시그모이드 함수의 동작과 0과 1 사이의 확률적 출력을 생성하는 기능을 설명했습니다.
시그모이드 함수를 분류 예제에 적용하고 새로운 활성화를 사용하여 손실 및 기울기를 계산하는 방법을 시연했습니다. 매개변수를 업데이트하고 모델을 개선하는 프로세스는 회귀에서와 동일하게 유지됩니다.
마지막으로 동일한 공식을 여러 가중치 및 데이터 포인트에 적용하여 논의된 개념을 더 높은 차원으로 확장할 수 있음을 강조했습니다. 손실 계산, 기울기 계산 및 매개변수 업데이트의 일반 원칙은 입력의 차원에 관계없이 유지됩니다.
전반적으로 단일 뉴런의 계산, 손실 함수 및 그래디언트를 이해하면 신경망을 훈련하고 성능을 향상하기 위한 기반을 제공합니다.
딥 러닝 수업에서 우리는 신경망 연구에 대해 깊이 파고들 것입니다. 그러나 신경망 또는 기계 학습 모델은 더 큰 시스템의 일부일 뿐이라는 점을 기억하는 것이 중요합니다. 데이터를 신경망에 입력하기 전에 데이터를 수집하고 네트워크가 이해할 수 있는 형식으로 처리해야 합니다. 마찬가지로 신경망의 출력에는 종종 후처리 또는 추가 분석이 필요합니다.
학기 내내 데이터 분석 파이프라인의 메타포를 염두에 두는 것이 도움이 될 것입니다. 이 비유는 기계 학습의 목표가 세계에 대한 관찰을 세계에 대한 예측으로 변환하는 것이며 신경망은 이 프로세스의 한 단계일 뿐임을 강조합니다. 파이프라인은 데이터가 통과하는 단계와 각 단계가 다음 단계에 기여하는 방식을 고려하도록 상기시킵니다.
다른 문제에는 파이프라인의 다른 단계가 필요합니다. 표준화되거나 시뮬레이션된 데이터 세트를 사용하면 특정 단계를 건너뛸 수 있지만 딥 러닝의 실제 응용 프로그램에서는 데이터 분석의 실용적인 측면을 고려해야 합니다.
데이터 분석 파이프라인의 몇 가지 중요한 측면에 대해 자세히 살펴보겠습니다. 첫 번째 단계는 데이터 수집입니다. 경우에 따라 기존 데이터 세트를 사용할 수 있지만 딥 러닝으로 새로운 문제를 해결하려면 모델 교육에 적합한 데이터를 결정해야 합니다. 최근 딥러닝의 성공이 대용량 데이터셋에 의존하고 있는 점을 고려하여 데이터를 수집할 때 충분한 양을 확보해야 합니다. 그러나 특히 계산 리소스가 제한적인 경우 데이터가 너무 많다는 문제도 있습니다. 경우에 따라 제한된 양의 데이터로 작업하는 것이 특히 탐색 및 문제 발견 중에 유용할 수 있습니다. 훈련에 사용하는 데이터 세트가 해결하려는 문제를 대표하는지 확인하는 것이 중요합니다. 여기에는 분류 작업에서 원하는 모든 클래스의 표현과 같은 요소를 고려하고 모델이 인식해야 하는 중요한 이상값을 간과하지 않는 것이 포함됩니다.
또 다른 과제는 데이터 세트에서 체계적인 편향을 식별하는 것입니다. 편향은 다양한 방식으로 발생할 수 있습니다. 예를 들어 화창한 날에 촬영한 이미지가 과도하게 표현되어 흐린 조건에서 이미지 분류기가 어려움을 겪을 수 있습니다. 편향은 또한 건강이나 교육과 관련된 예측에 영향을 미칠 수 있으며, 개인 요인을 더 넓은 사회 구조에 기인합니다. 데이터 수집 중에 잠재적 편향을 염두에 두는 것이 중요합니다. 그러나 편향을 해결하고 수정하는 것은 지속적인 딥 러닝 연구가 필요한 복잡한 문제입니다.
데이터를 수집한 후 기계 학습이나 기타 처리 기술을 적용하기 전에 데이터를 정리해야 하는 경우가 많습니다. 이 단계에는 누락된 데이터 처리, 데이터의 어떤 차원이 관련이 있는지 결정, 예제 간에 다른 차원 처리가 포함됩니다. 데이터의 적절한 레이블 지정은 지도 학습에 매우 중요합니다. 특히 수화를 전사하거나 음성 대 텍스트 불일치를 처리할 때 적절한 레이블을 얻는 것은 어려울 수 있습니다. 레이블은 모델이 학습하려는 데이터의 측면을 정확하게 나타내야 합니다.
다음으로 데이터를 신경망 또는 기계 학습 모델 훈련에 적합한 숫자 형식으로 변환해야 합니다. 신경망은 벡터 또는 행렬 형태의 숫자 입력을 기대합니다. 숫자 인코딩 프로세스는 문제에 따라 난이도가 다릅니다. 예를 들어 이미지 데이터 처리는 이미 컴퓨터에서 사용되는 픽셀 기반 표현으로 인해 상대적으로 간단합니다. 그러나 ASCII 형식으로 인코딩된 텍스트 데이터를 처리하려면 대체 표현이 필요합니다. 데이터 표현 또는 차원을 변환하는 것은 문제가 더욱 복잡해짐에 따라 점점 더 중요해지고 있습니다.
또한 특히 신경망이 0에서 1 범위의 값을 출력하는 경향이 있는 경우 데이터를 정규화하는 것이 도움이 될 수 있습니다. 정규화에는 데이터 값의 범위를 조정하여 신경망에 대한 입력이 서로 더 가까워지도록 합니다. 신경망의 출력 후에 후처리 단계를 수행해야 할 수도 있습니다. 여기에는 네트워크의 출력을 원하는 예측 형식으로 디코딩하고, 예측 신뢰도를 전달하고, 모델의 예측을 사용할 애플리케이션 또는 알고리즘을 고려하는 것이 포함됩니다.
데이터를 처리하고 신경망을 훈련하면 평가 및 조정 단계로 넘어갈 수 있습니다. 여기에서 모델의 성능을 평가하고 개선합니다. 평가에는 이전에 별도로 설정한 테스트 세트를 사용하는 것이 포함됩니다. 훈련된 신경망을 이 보이지 않는 데이터에 적용하여 새로운 예에 얼마나 잘 일반화되는지 측정할 수 있습니다. 우리는 일반적으로 모델의 성능을 평가하기 위해 정확도, 정밀도, 재현율 및 F1 점수와 같은 지표를 사용합니다. 이러한 메트릭은 신경망이 얼마나 효과적으로 예측을 수행하는지에 대한 통찰력을 제공합니다.
평가 결과에 따라 모델이 성능이 저하되거나 한계를 보일 수 있는 영역을 식별할 수 있습니다. 이 정보는 필요한 조정 및 개선을 수행하는 데 도움이 됩니다. 모델 아키텍처, 하이퍼파라미터를 반복하거나 필요한 경우 추가 데이터를 수집할 수도 있습니다. 목표는 모델의 성능을 개선하고 원하는 정확도와 신뢰성을 달성하는 것입니다.
튜닝 프로세스 중에 다양한 구성과 설정을 실험하여 모델의 성능을 최적화합니다. 여기에는 학습률, 배치 크기, 정규화 기술과 같은 하이퍼파라미터 조정이 포함됩니다. 체계적인 탐색과 실험을 통해 신경망의 효율성을 극대화하는 최적의 설정 조합을 찾는 것을 목표로 합니다.
모델 자체를 미세 조정하는 것 외에도 응용 프로그램의 더 넓은 맥락을 고려합니다. 해결하려는 특정 문제와 모델 예측의 실제 의미를 고려합니다. 여기에는 실제 모델 배포의 사회적, 윤리적, 법적 측면을 검토하는 것이 포함됩니다. 모델이 공정하고 편파적이지 않으며 문제 도메인의 가치 및 요구 사항과 일치하는지 확인하는 것이 중요합니다.
딥 러닝 실무자로서 우리의 책임은 정확한 모델을 개발하는 것 이상으로 확장됩니다. 잠재적인 편향이나 한계를 고려하여 결과를 비판적으로 분석하고 해석해야 합니다. 시간이 지남에 따라 효율성을 유지하려면 모델의 성능을 정기적으로 재방문하고 재평가해야 합니다.
딥 러닝 수업에서 신경망을 공부하려면 신경망이 더 큰 시스템의 일부라는 것을 이해해야 합니다. 데이터 수집에서 전처리, 교육 및 평가에 이르는 데이터 분석 파이프라인은 신중한 고려가 필요한 여러 단계를 포함합니다. 전체 프로세스를 염두에 두고 모델을 지속적으로 개선함으로써 딥 러닝의 힘을 효과적으로 활용하여 정확한 예측을 하고 실제 문제를 해결할 수 있습니다.
기계 학습에서 모델 평가에는 새로운 예측을 수행하고 본 적이 없는 데이터에 대한 테스트가 포함됩니다. 이 토론에서는 데이터를 효과적으로 사용하여 기계 학습 모델을 검증하고 개선하는 방법을 살펴보겠습니다.
모델 선택 프로세스는 주어진 문제를 해결하기 위해 사용 가능한 옵션을 식별하는 것으로 시작됩니다. 이는 모델이 나타낼 수 있는 함수 유형을 정의하는 모델의 가설 공간 개념으로 이어집니다. 가설 공간은 선택한 입력 표현 및 필요한 출력 유형과 같은 요인에 의해 제한됩니다.
특정 모델이나 기계 학습 알고리즘을 선택한 후에는 조정할 수 있는 모델의 다양한 측면이 있습니다. 여기에는 데이터를 사용하여 훈련되는 가중치 및 편향과 같은 모델의 매개변수 조정이 포함됩니다. 또한 학습 속도 또는 반복 횟수와 같은 다른 측면은 모델의 성능에 영향을 미치는 하이퍼 매개변수로 간주될 수 있습니다.
다양한 옵션을 효과적으로 탐색하고 테스트하기 위해 실험적 검증에 의존합니다. 여기에는 데이터 세트를 교육 및 테스트 세트로 나누는 작업이 포함됩니다. 훈련 세트는 모델을 훈련하는 데 사용되는 반면 테스트 세트는 보이지 않는 데이터에 대한 성능을 평가하는 데 사용됩니다. 테스트 세트의 다른 모델 또는 하이퍼파라미터를 비교하여 새로운 데이터로 일반화하는 데 더 효과적인 모델을 결정할 수 있습니다.
우리의 목표는 보이지 않는 새로운 데이터에 대해 정확한 예측을 할 수 있는 모델을 개발하는 것이기 때문에 일반화는 기계 학습의 중요한 측면입니다. 모델이 교육 데이터에 너무 구체적이 되는 과적합은 좋은 일반화를 달성하는 데 공통적인 문제입니다. 샘플 외부 유효성 검사를 위해 데이터의 일부를 분리하여 모델이 과적합되었는지 아니면 성공적으로 일반화되었는지 평가할 수 있습니다.
여러 하이퍼파라미터를 탐색할 때 값을 체계적으로 변경하거나 그럴듯한 범위에서 무작위로 샘플링할 수 있습니다. 무작위화를 통해 더 넓은 범위의 값을 효율적으로 탐색할 수 있습니다. 그러나 광범위한 실험으로 인해 테스트 세트가 과대적합되는 경우 데이터를 교육, 검증 및 테스트 세트로 추가로 분리하거나 교차 검증을 사용해야 할 수 있습니다.
교차 유효성 검사에는 데이터를 여러 하위 집합으로 나누고 이러한 하위 집합의 다양한 조합에서 모델을 반복적으로 교육 및 테스트하는 작업이 포함됩니다. 이 접근 방식은 모델의 성능 및 일반화 능력에 대한 보다 강력한 추정을 제공합니다.
기계 학습의 핵심 아이디어는 훈련 데이터와 테스트 데이터를 분리하여 모델을 실험적으로 검증하는 것입니다. 이를 통해 보이지 않는 예에 대한 성능을 평가하고 모델 선택 및 하이퍼파라미터 튜닝에 대해 정보에 입각한 결정을 내릴 수 있습니다.
신경망은 단일 뉴런과 달리 여러 계층으로 구성되며 노드를 통해 계산을 수행합니다. 각 노드는 입력의 가중 합을 계산하고 활성화 함수를 적용합니다. 신경망에서 노드의 입력은 이전 노드 활성화에서 나올 수 있으며 계산된 활성화는 이후 노드로 전달될 수 있습니다.
예를 들어, 네트워크의 뉴런 8은 뉴런 5, 6, 7로부터 입력을 받습니다. 뉴런 8이 수행하는 입력의 가중 합은 해당 가중치와 편향을 곱한 해당 뉴런의 활성화 합계입니다. 그런 다음 활성화 함수가 가중 합계에 적용됩니다. 뉴런 8의 출력은 노드 11과 12의 입력으로 사용됩니다. 하이퍼볼릭 탄젠트 및 ReLU(정류기 선형 단위)와 같은 다양한 활성화 함수를 신경망에서 사용할 수 있습니다.
예측을 위해 신경망을 사용하여 계산을 수행하려면 입력 데이터를 기반으로 입력 레이어 노드의 활성화를 설정하는 것으로 시작합니다. 입력 레이어 노드는 단순히 입력 벡터의 값을 저장합니다. 입력 및 출력 레이어의 크기는 데이터의 차원과 원하는 예측에 따라 다릅니다. 레이어로 구성된 네트워크의 숨겨진 뉴런은 입력과 출력 사이에서 계산을 수행합니다. 각 레이어의 활성화를 계산하여 이전 활성화를 참조하여 입력을 다음 레이어로 전달할 수 있습니다. 이러한 활성화는 가중치 업데이트 중 경사하강법에도 필요합니다. 신경망에 숨겨진 계층이 있으면 비선형 활성화 기능을 사용할 수 있습니다. 선형 활성화는 다중 계층 네트워크에서 이점을 제공하지 않습니다. 시그모이드 함수와 같은 비선형 활성화 함수를 사용하면 다양한 함수를 표현할 수 있습니다.
AND, OR 및 NOT과 같은 논리적 연산을 나타내는 뉴런은 단계 함수 분류기를 사용하여 구성할 수 있습니다. 시그모이드 활성화를 사용하여 이러한 논리 연산을 근사함으로써 신경망은 모든 부울 함수를 나타낼 수 있습니다. 신경망을 훈련하기 위해 기울기 하강법을 사용하여 가중치와 편향을 업데이트합니다. 네트워크의 매개변수에는 전체 네트워크의 모든 가중치와 편향이 포함됩니다. 출력 뉴런이 여러 개인 네트워크의 손실 함수는 모든 출력 뉴런에 대해 합산된 평균 제곱 오차일 수 있습니다. 목표는 매개변수를 반복적으로 업데이트하여 손실을 줄이는 것입니다.
기울기 하강법은 손실을 최소화하기 위해 기울기의 반대 방향으로 단계를 수행하여 매개변수에 대한 손실의 기울기를 계산하여 수행됩니다. 이 프로세스를 역전파라고 하며 네트워크가 예측을 학습하고 개선할 수 있습니다. 다음 비디오에서는 신경망에서 경사하강법 업데이트를 수행하는 데 사용되는 역전파 알고리즘에 대해 자세히 살펴보겠습니다. 역전파를 사용하면 네트워크 매개변수와 관련하여 손실 기울기를 효율적으로 계산할 수 있습니다.
프로세스는 출력 활성화에 대한 손실 함수의 기울기를 계산하는 것으로 시작합니다. 이 기울기는 출력 활성화의 변화에 대한 손실의 민감도를 나타냅니다. 손실은 활성화 함수를 통한 출력 활성화와 목표 값과의 차이 제곱에 따라 달라지므로 체인 규칙을 적용하여 얻을 수 있습니다. 출력 활성화에 대한 손실 기울기가 계산되면 네트워크를 통해 역방향으로 전파됩니다. 각 레이어에서 기울기는 입력의 가중 합에 대한 활성화 함수의 도함수로 곱해집니다. 이 도함수는 가중 합계의 변화에 대한 활성화 민감도를 포착합니다.
그래디언트를 역방향으로 전파하면 이전 레이어의 활성화에 대한 손실의 그래디언트를 계산할 수 있습니다. 이러한 변화도는 이전 계층의 각 활성화가 손실에 기여하는 정도를 나타냅니다. 활성화에 대한 손실 기울기를 사용하여 각 계층의 가중치 및 편향에 대한 손실 기울기를 계산할 수 있습니다. 이러한 그래디언트는 이전 레이어의 활성화에 해당하는 활성화 함수의 그래디언트를 곱하여 얻습니다. 마지막으로 매개변수에 대한 손실의 기울기로 기울기 하강법 알고리즘을 사용하여 가중치와 편향을 업데이트할 수 있습니다. 그래디언트와 반대 방향으로 조치를 취함으로써 네트워크의 매개변수를 점진적으로 최적화하여 손실을 최소화합니다.
정방향 전파, 역방향 전파 및 매개변수 업데이트의 반복 프로세스는 특정 에포크 동안 또는 손실이 만족스러운 값으로 수렴될 때까지 반복됩니다. 이 훈련 과정을 통해 신경망은 제공된 훈련 데이터를 기반으로 가중치와 편향을 조정하여 더 나은 예측을 하는 방법을 학습합니다.
신경망은 복잡한 계산을 수행하고 예측하기 위해 여러 계층과 비선형 활성화 기능을 활용합니다. 역전파 알고리즘과 경사 하강법을 사용함으로써 신경망은 데이터에서 학습하고 매개변수를 최적화하여 예측 기능을 향상시킬 수 있습니다.
이번 영상에서는 확률적 경사하강법을 통해 신경망 훈련에 사용되는 역전파 알고리즘을 도출해 보겠습니다. 알고리즘은 세 가지 주요 단계로 구성됩니다.
먼저 피드포워드 패스를 수행하여 데이터 포인트에 대한 예측을 수행합니다. 이러한 예측은 예측 출력과 실제 출력 간의 오류를 나타내는 손실을 결정합니다. 다음으로 역전파를 수행하여 손실의 편도함수를 계산합니다. 출력 및 숨겨진 레이어의 각 뉴런에 대해 "델타"라는 수량을 계산합니다. 델타는 해당 뉴런에서 입력의 가중 합계에 대한 손실의 편도함수를 나타냅니다. 체인 규칙을 적용하면 손실에 미치는 영향을 고려하여 각 뉴런에 대한 델타를 계산할 수 있습니다.
출력 레이어 뉴런의 델타를 계산하기 위해 활성화 함수의 도함수와 대상과 활성화 간의 차이를 사용합니다. 이 계산은 손실과 입력의 가중 합계 사이의 관계를 고려합니다. 숨겨진 레이어 뉴런의 경우 다음 레이어의 뉴런에 미치는 영향을 고려하고 다음 레이어 노드의 기여도와 가중치 및 활성화 도함수를 곱하여 델타를 재귀적으로 계산합니다. 모든 뉴런에 대한 델타를 계산하고 나면 이를 사용하여 가중치와 편향의 편도함수를 계산할 수 있습니다.
각 가중치에 대한 부분 도함수는 해당 델타와 이전 계층 뉴런의 활성화의 곱입니다. 마찬가지로 각 편향에 대한 편도함수는 해당 델타와 같습니다.
경사 하강법을 수행하기 위해 배치라고 하는 데이터 포인트의 하위 집합에 대해 편도함수의 평균을 냅니다. 이 접근 방식을 확률적 경사 하강법이라고 합니다. 학습률을 곱한 평균 편도함수로 가중치와 편향을 업데이트하여 손실을 최소화하는 방향으로 매개변수를 이동합니다.
실제로 모든 데이터 포인트에 대한 델타 및 편도함수를 계산하는 대신 무작위 배치와 함께 확률적 경사 하강법을 사용하는 경우가 많습니다. 데이터의 하위 집합을 임의로 샘플링하고 해당 하위 집합에 대한 평균 손실과 기울기를 계산하고 그에 따라 매개 변수 업데이트를 수행합니다. 이렇게 하면 특히 대규모 데이터 세트의 경우 교육 프로세스 속도가 빨라집니다.
역전파 알고리즘은 정방향 및 역방향 패스를 결합하여 델타 및 편도함수를 계산한 다음 확률적 경사하강법 업데이트에 사용합니다. 매개변수를 반복적으로 업데이트함으로써 신경망은 손실을 최소화하고 예측을 개선하는 방법을 학습합니다.
시그모이드 뉴런이 있는 신경망을 사용하여 다중 클래스 분류를 수행할 때 발생하는 특정 제한 사항이 있습니다. 이전에는 두 개의 클래스만 처리할 때 하나의 뉴런이 0 또는 1을 출력할 수 있었습니다. 그러나 손으로 쓴 숫자를 0에서 9까지 분류하는 것과 같이 여러 레이블이 관련된 경우 다른 표현이 필요합니다.
일반적인 접근 방식 중 하나는 레이블을 원-핫 벡터로 인코딩하는 것입니다. 여기서 각 레이블은 고유한 차원을 가지며 한 번에 하나의 차원만 활성화됩니다. 예를 들어, 5차원 벡터는 5개의 가능한 레이블을 나타낼 수 있으며 차원 4는 활성화되어 네 번째 레이블을 나타냅니다. 시그모이드 뉴런 기반 출력 계층이 잠재적으로 이러한 유형의 출력을 생성할 수 있지만 실제적인 문제가 있습니다.
첫 번째 문제는 시그모이드 레이어가 여러 레이블에 대해 상대적으로 큰 값을 출력하여 예측을 해석하기 어렵게 만들 수 있다는 것입니다. 이상적으로는 출력 레이어가 0과 1 또는 다른 가능한 레이블에 대한 신뢰도를 반영하는 무언가를 생성하기를 원할 것입니다. 두 번째 문제는 시그모이드 출력 레이어를 훈련하는 동안 발생합니다. 대상이 원-핫 벡터인 경우 그래디언트 디센트를 사용하여 올바른 레이블에 대해 활성화를 1로, 다른 레이블에 대해 0으로 푸시합니다. 그러나 시그모이드 함수의 특성으로 인해 오류가 더 큰 뉴런은 델타가 더 작을 수 있으므로 잘못된 예측을 자신 있게 수정하기가 어렵습니다.
기울기 소실 문제로 알려진 유사한 문제가 숨겨진 뉴런에 대해 시그모이드 활성화를 사용할 때도 발생합니다. 그러나 이 비디오에서는 이러한 문제를 해결하기 위해 출력 활성화와 손실 기능의 대체 조합에 중점을 둡니다. 시그모이드 활성화 대신 출력 레이어에 대한 소프트맥스 활성화를 도입합니다. Softmax 활성화는 전체 레이어에서 계산되어 입력 간의 차이를 확대하고 활성화를 정규화하여 합이 1이 되도록 합니다. 그 결과 예측으로 더 해석하기 쉽고 가능한 각 레이블에 대한 네트워크의 신뢰도로 볼 수 있는 출력이 생성됩니다.
softmax 활성화를 효과적으로 사용하기 위해 범주형 교차 엔트로피 손실 함수와 쌍을 이룹니다. 교차 엔트로피 손실은 대상 뉴런에 대한 활성화의 음의 로그를 계산하며 이는 원-핫 벡터를 사용할 때 활성화의 로그로 단순화됩니다. 이 조합을 사용하면 효과적인 경사하강법 업데이트가 가능합니다. 출력 레이어에 대한 델타를 계산하기 위해 활성화와 관련된 손실의 편도함수를 도출합니다. 대상 뉴런의 경우 파생값은 -1을 활성화로 나눈 값입니다. 다른 뉴런의 경우 도함수는 0입니다. softmax 활성화의 상호 의존성으로 인해 대상 뉴런만 0이 아닌 도함수를 가지더라도 모든 입력에 대해 0이 아닌 델타가 얻어집니다.
이러한 공식을 사용하여 출력 레이어의 대상 뉴런과 다른 뉴런 모두에 대한 델타를 계산할 수 있습니다. 대상 뉴런의 델타는 활성화에서 1을 뺀 값이므로 계산하기 쉽습니다. 다른 뉴런에 대한 델타는 부정적인 활성화 자체로 단순화됩니다.
이러한 softmax 활성화와 범주형 교차 엔트로피 손실의 조합을 통해 분류 문제에 대한 의미 있는 출력을 달성하고 출력을 올바른 예측으로 효율적으로 푸시하는 그래디언트를 얻습니다. softmax 활성화 및 범주형 교차 엔트로피 손실을 사용하면 다중 클래스 분류를 위한 강력한 프레임워크가 제공됩니다. 이러한 구성 요소가 어떻게 함께 작동하여 신경망을 효과적으로 훈련할 수 있는지 자세히 살펴보겠습니다.
출력 레이어에 대한 델타를 계산하고 나면 이 델타는 역전파의 시작점 역할을 하며, 여기에서 가중치를 업데이트하기 위해 네트워크를 통해 오류 기울기를 역전파합니다. 출력 레이어를 이전 레이어에 연결하는 가중치를 업데이트하기 위해 델타 값을 사용하고 경사 하강법 알고리즘을 적용할 수 있습니다. 가중치 업데이트는 각 출력 뉴런의 델타에 해당 가중치의 입력 활성화를 곱하고 가중치를 학습률로 조정하여 결정됩니다.
네트워크를 통해 델타를 역전파함으로써 숨겨진 레이어의 가중치에 대한 그래디언트도 계산할 수 있습니다. 이를 통해 숨겨진 레이어의 가중치를 적절하게 업데이트하여 네트워크 성능을 더욱 개선할 수 있습니다. softmax 활성화 및 범주형 교차 엔트로피 손실을 사용할 때 softmax가 출력 레이어에만 적용되도록 해야 한다는 점에 유의하는 것이 중요합니다. 숨겨진 레이어의 경우 ReLU(Rectified Linear Unit) 또는 tanh와 같은 활성화 함수를 사용하는 것이 좋습니다. Softmax 활성화를 통해 각 클래스에 대한 확률 또는 신뢰 점수로 해석할 수 있는 출력을 얻을 수 있습니다. 출력 벡터의 값 합계는 1이므로 예측에 대한 네트워크의 신뢰도를 측정할 수 있습니다. 값이 높을수록 특정 클래스에 대한 신뢰도가 높음을 나타냅니다.
범주형 교차 엔트로피 손실은 예측 확률과 실제 레이블 간의 불일치를 효과적으로 측정하여 softmax 활성화를 보완합니다. 이는 네트워크가 예측 확률과 원-핫 인코딩된 대상 벡터 간의 차이를 최소화하도록 권장하여 네트워크를 보다 정확한 예측으로 밀어냅니다.
softmax 활성화와 범주형 교차 엔트로피 손실을 결합하여 몇 가지 이점을 얻을 수 있습니다. 우리는 의미 있고 해석 가능한 출력을 얻음으로써 다양한 클래스에 대한 네트워크의 예측 및 신뢰 수준을 이해할 수 있습니다. 범주형 교차 엔트로피 손실에서 파생된 그래디언트는 보다 효과적인 학습과 향상된 정확도로 이어지는 방식으로 가중치 업데이트를 안내합니다. 각각 다른 유형의 문제에 적합한 다른 활성화 함수와 손실 함수가 있음을 언급할 가치가 있습니다. 그러나 범주형 교차 엔트로피 손실이 있는 softmax 활성화는 다중 클래스 분류 작업에 대한 성공적인 조합으로 입증되어 해석 가능성과 효과적인 훈련 역학을 모두 제공합니다.
요약하면 다중 클래스 분류 신경망에서 softmax 활성화 및 범주 교차 엔트로피 손실을 사용하면 의미 있는 예측을 얻고 신뢰 수준을 해석하고 효율적인 경사 하강법 업데이트를 수행할 수 있습니다. 이 조합은 다양한 분류 작업에서 정확하고 신뢰할 수 있는 결과를 얻는 데 중요한 역할을 합니다.
신경망의 내부 작동을 이해하려면 개별 뉴런 수준을 조사하고 뉴런 간의 연결을 고려하는 것이 좋습니다. 활성화를 계산하는 순방향 패스와 델타를 계산하는 역방향 패스 중에 노드와 에지 측면에서 생각하면 직관을 구축하는 데 도움이 될 수 있습니다. 그러나 딥 러닝은 실제로 이런 방식으로 작동하지 않습니다. 효율적으로 훈련할 수 있는 대규모 신경망을 구축하려면 더 높은 수준의 추상화로 이동하고 벡터, 행렬 및 텐서 측면에서 생각해야 합니다.
이 상위 수준의 추상화를 향한 첫 번째 단계는 계층의 활성화를 벡터로 나타내는 것입니다. 신경망이 레이어로 구성되어 있으면 레이어의 활성화를 벡터로 수집할 수 있습니다. 예를 들어, 벡터 A^l은 레이어 l에 대한 모든 활성화를 해당 레이어에 있는 노드 수만큼의 항목과 함께 저장합니다. 마찬가지로 역전파 중에 레이어의 델타를 벡터로 수집할 수 있습니다. 벡터를 사용하여 레이어의 바이어스 또는 입력을 나타낼 수도 있습니다.
이 벡터화된 표기법으로 계산을 표현하기 위해 먼저 노드가 입력의 가중 합계를 계산하는 방법을 살펴보겠습니다. 노드 5의 활성화 함수로 들어가는 입력 X^5는 이전 레이어의 활성화와 편향의 가중 합으로 계산됩니다. 이전 레이어의 활성화를 벡터 A^K로 수집하고 가중치 벡터를 노드 5로 가져옴으로써 입력의 가중치 합을 이 두 벡터 사이의 내적으로 나타낼 수 있습니다. 내적을 작성하는 또 다른 방법은 첫 번째 벡터를 전치하고 행 벡터와 열 벡터 간에 행렬 곱셈을 수행하는 것입니다. 따라서 노드 5에 대한 입력을 이전 레이어의 활성화 벡터와 노드 5의 바이어스를 곱한 노드 5(전치)로 들어오는 가중치 벡터로 표현할 수 있습니다.
이 벡터화된 표기법은 더 나아가 계층 l에 대한 전체 입력 벡터를 한 번에 계산할 수 있습니다. 노드 5에 대한 가중치의 행 벡터와 해당 레이어의 다른 뉴런에 대한 가중치의 행 벡터를 결합하여 레이어 K에서 레이어 l까지의 모든 가중치를 포함하는 행렬을 얻습니다. 이 가중치 행렬은 레이어 l에 있는 노드 수만큼의 행(각 행은 레이어 l 뉴런 중 하나에 대한 가중치 벡터를 나타냄)과 이전 레이어 K에 있는 노드 수만큼의 열(각 열은 레이어 K 노드 중 하나에서 나오는 가중치). 이 가중치 행렬에 계층 K에 대한 활성화 벡터를 곱하면 각 요소가 계층 l 노드 중 하나에 대한 입력의 가중 합계를 나타내는 벡터가 됩니다. 활성화 함수 입력을 얻기 위해 벡터로 수집된 이 벡터에 편향을 추가합니다.
이제 행렬-벡터 곱셈, 벡터 덧셈 및 요소별 함수를 사용하여 레이어에 대한 모든 입력을 계산하는 작업을 표현할 수 있습니다. 이전에는 이러한 계산에 중첩 루프가 필요했지만 이제는 벡터화된 방식으로 효율적으로 수행할 수 있습니다.
앞으로 우리는 이 벡터화된 접근 방식을 역방향 패스로 확장할 수 있습니다. 한 번에 하나의 뉴런을 고려하는 대신 레이어 K의 노드에 대한 델타를 다음 레이어의 모든 델타의 가중 합에 해당 노드의 활성화 함수의 도함수를 곱한 값으로 계산할 수 있습니다. 다시 말하지만, 이 가중 합을 내적으로 표현할 수 있습니다. 노드 3에서 나오는 가중치 행 벡터에 레이어 l에 대한 델타 벡터를 곱한 다음 활성화 도함수를 곱하면 레이어 K에 대한 델타 벡터를 계산할 수 있습니다. 레이어에 대한 모든 가중치를 수집하는 가중치 행렬을 사용하여 l 개의 뉴런에 레이어 l의 델타 벡터를 곱하면 크기가 가중치 행렬과 일치하는 행렬을 얻을 수 있습니다.
매트릭스 작업을 활용하여 피드 포워드 조밀하게 연결된 신경망 컴퓨팅에서 상당한 성능 향상을 얻을 수 있습니다. 이는 이러한 계산을 크게 가속화할 수 있는 그래픽 프로세서(GPU)와 같은 특수 하드웨어에서 행렬 연산을 효율적으로 실행할 수 있기 때문에 특히 유리합니다.
행렬을 사용하여 신경망 계산을 나타낼 때 순방향 전달, 역방향 전달 및 가중치 업데이트를 매우 효율적이고 병렬화된 방식으로 수행할 수 있습니다. 주요 단계를 요약해 보겠습니다.
Forward Pass: 행렬-벡터 곱셈 및 요소별 활성화 함수 적용을 수행하여 전체 데이터 배치에 대한 각 레이어의 활성화를 계산할 수 있습니다. 각 열이 다른 데이터 포인트에 대한 활성화를 나타내는 매트릭스로 활성화를 구성하면 전체 배치에 대한 활성화를 효율적으로 계산할 수 있습니다.
역방향 패스: 마찬가지로 벡터화된 방식으로 각 레이어의 델타(오류 기울기)를 계산할 수 있습니다. 각 열이 특정 데이터 포인트의 델타에 해당하는 행렬로 델타를 나타내면 활성화 도함수를 사용하여 행렬-벡터 곱셈 및 요소별 곱셈을 수행하여 전체 배치에 대한 델타를 효율적으로 계산할 수 있습니다.
가중치 업데이트: 가중치와 편향을 업데이트하기 위해 행렬 연산을 사용하여 델타 행렬과 가중치 행렬의 전치 사이의 내적을 계산할 수 있습니다. 이 작업은 각 항목이 특정 가중치에 대한 업데이트를 나타내는 가중치 업데이트 매트릭스를 생성합니다. 내적을 배치 크기로 나누어 평균 업데이트를 얻은 다음 평균 업데이트에 곱한 학습률을 빼서 가중치를 업데이트할 수 있습니다. 편향 업데이트는 열 전체의 델타 벡터의 평균을 구하고 학습률에 편향의 평균을 곱한 값을 빼서 계산합니다.
이러한 계산을 벡터화하고 행렬 연산을 활용함으로써 상당한 계산 효율성을 달성하고 병렬 처리를 위한 하드웨어 가속을 활용할 수 있습니다. 이 접근 방식을 통해 대규모 신경망을 효율적으로 훈련하여 광범위한 작업 및 데이터 세트에서 딥 러닝을 실현할 수 있습니다.
텍스트에서 벡터화 및 행렬 연산 활용에 대한 높은 수준의 개요를 제공했지만 실제 구현 세부 사항은 사용된 프로그래밍 언어 또는 프레임워크에 따라 다를 수 있습니다. 다양한 언어와 프레임워크에는 매트릭스 작업을 위한 자체 최적화된 기능과 라이브러리가 있어 성능을 더욱 향상시킬 수 있습니다.
성능 이점 외에도 딥 러닝에서 매트릭스 작업을 활용하면 다음과 같은 다른 이점이 있습니다.
단순성 및 코드 가독성: 행렬 연산을 사용하면 신경망 계산을 위한 코드가 더 간결해지고 이해하기 쉬워집니다. 개별 데이터 포인트에 대해 명시적인 루프를 작성하는 대신 행렬 연산을 사용하여 보다 간결하고 직관적인 형태로 계산을 표현할 수 있습니다.
소프트웨어 호환성: TensorFlow 및 PyTorch와 같은 널리 사용되는 많은 딥 러닝 프레임워크 및 라이브러리는 매트릭스 작업의 효율적인 구현을 제공합니다. 이러한 프레임워크는 종종 BLAS(기본 선형 대수 하위 프로그램) 또는 cuBLAS(CUDA 기본 선형 대수 하위 프로그램)와 같은 최적화된 선형 대수 라이브러리를 활용하여 CPU 또는 GPU에서 행렬 계산을 가속화합니다. 이러한 프레임워크를 활용하여 최적화된 구현의 이점을 얻고 딥 러닝 파이프라인의 다른 구성 요소와의 호환성을 보장할 수 있습니다.
다른 계층 유형에 대한 일반화: 행렬 연산은 densely connected 계층뿐만 아니라 convolutional 계층 및 recurrent 계층과 같은 다른 계층 유형에도 적용할 수 있습니다. 계산을 매트릭스 형식으로 표현함으로써 다양한 레이어 유형에서 동일한 효율적인 매트릭스 작업 및 최적화를 활용하여 구현을 단순화하고 전반적인 성능을 향상시킬 수 있습니다.
하드웨어 가속과의 통합: GPU 또는 Tensor Processing Unit(TPU)과 같은 특수 하드웨어는 매트릭스 계산을 가속화하도록 설계되었습니다. 이러한 하드웨어 가속기는 대규모 병렬 매트릭스 작업을 수행하는 데 탁월하므로 딥 러닝 워크로드에 이상적입니다. 매트릭스 작업을 활용하여 이러한 하드웨어 가속기와 원활하게 통합하고 기능을 최대한 활용하여 교육 및 추론 시간을 크게 단축할 수 있습니다.
요약하면 딥 러닝에서 매트릭스 작업을 활용하면 성능 이점, 코드 단순성, 소프트웨어 호환성 및 하드웨어 가속기와의 통합이 제공됩니다. 신경망 계산을 매트릭스 형태로 표현하고 최적화된 매트릭스 연산을 활용함으로써 다양한 작업과 플랫폼에서 딥 러닝 모델을 효율적으로 훈련하고 배포할 수 있습니다.
딥 러닝의 컨볼루션 - 대화형 데모 앱
딥 러닝의 컨볼루션 - 대화형 데모 앱
Mandy와 함께하는 Steeplezer 데모에 오신 것을 환영합니다. 이 에피소드에서는 신경망에서 사용되는 컨볼루션 작업에 대한 이해를 높이기 위해 deeplister.com의 대화형 컨볼루션 데모 애플리케이션을 살펴보겠습니다.
컨볼루션 연산은 필터와 슬라이딩 윈도우를 사용하여 입력을 출력에 매핑하기 위한 컨볼루션 신경망의 중요한 구성 요소입니다. 보다 근본적인 이해를 위해 컨볼루션 작업과 신경망에서의 역할을 설명하는 전용 에피소드가 있습니다. 이제 deeplister.com에서 대화형 컨볼루션 데모 애플리케이션을 활용하여 이 작업에 대한 이해를 심화하는 방법에 초점을 맞추겠습니다. 응용 프로그램 페이지에서 처음에는 위쪽 부분이 표시되고 나중에 아래쪽 부분을 보기 위해 아래로 스크롤합니다. 데모 애플리케이션을 사용하면 주어진 입력에 대해 작동 중인 컨볼루션 작업을 확인하고 출력이 파생되는 방식을 관찰할 수 있습니다. 데모에서 작업할 수 있는 몇 가지 옵션이 있습니다. 첫째, 전체 화면 모드 사이를 전환할 수 있습니다. 둘째, MNIST를 사용하고 있으므로 데이터 세트를 선택하고 작업할 숫자를 0에서 9까지 선택할 수 있습니다.
신경망의 컨벌루션 레이어에서는 훈련 과정에서 필터 값을 학습하여 가장자리, 모양 또는 질감과 같은 다양한 패턴을 감지합니다. 이 데모에서는 에지 필터와 같은 다양한 필터 세트 중에서 선택하여 예제 컨볼루션을 관찰할 수 있습니다. 첫 번째 예에서는 왼쪽 가장자리 필터를 선택하여 MNIST 데이터 세트에서 숫자 9의 이미지에 적용합니다. 이러한 옵션을 구성하면 데모를 진행할 준비가 된 것입니다. 숫자 9의 입력 이미지가 표시되며 각 작은 사각형은 픽셀과 그 값을 나타냅니다. 3x3 픽셀 블록과 선택된 왼쪽 가장자리 필터에 초점을 맞춥니다. 컨볼루션 연산에는 입력 및 필터 값의 요소별 곱셈과 최종 출력을 얻기 위한 합산이 포함됩니다.
각 픽셀 위로 마우스를 가져가면 입력 값과 필터 값 사이에서 발생하는 곱셈을 관찰할 수 있습니다. 모든 제품을 합산한 후 컨볼루션 후 전체 이미지를 나타내는 결과 출력을 맨 아래에 저장합니다. 단계 버튼을 클릭하여 입력 블록을 오른쪽으로 한 픽셀 이동하고(스트라이드 1) 다시 컨볼루션 연산을 수행합니다. 이 프로세스는 최종 출력에 도달할 때까지 계속됩니다. 데모를 재생하여 이러한 작업을 자동화하고 일시 중지하여 특정 픽셀을 검사할 수도 있습니다.
출력은 긍정적인 활성화를 주황색 또는 빨간색 픽셀로 나타내며 필터에 의해 감지된 왼쪽 가장자리를 나타냅니다. 부정적인 활성화는 오른쪽 가장자리를 나타내는 파란색 픽셀로 표시됩니다. 값 활성화 함수는 일반적으로 컨볼루션 출력에 적용되어 양수 값을 유지하고 음수 값을 0으로 설정합니다. 출력 값 위로 마우스를 가져가면 해당 입력 및 필터 값과 연관시킬 수 있습니다. 결과 출력은 왼쪽 가장자리를 나타내는 긍정적인 활성화 모음입니다. 나머지 데모를 재생하여 최종 출력을 볼 수 있습니다. 반대 효과를 보여주기 위해 오른쪽 가장자리 필터로 전환하여 양수 및 음수 픽셀이 교환된 동일한 출력을 생성합니다.
또 다른 예로 Fashion MNIST 데이터 세트로 전환하고 티셔츠 이미지를 선택합니다. "상단" 에지 필터를 적용하면 상단 및 하단 에지 감지를 관찰할 수 있습니다.
deeplister.com의 데모에서 다양한 예제를 자유롭게 탐색하여 컨볼루션 작업에 대한 이해를 심화하십시오. 시청해 주셔서 감사합니다. YouTube의 두 번째 채널인 "The Blizzard Vlog"에서 더 많은 콘텐츠를 확인해 보세요. 해당 블로그 게시물을 보려면 beeplezer.com을 방문하고 독점 특전과 보상을 위해 Deep Blizzard Hive Mind에 가입하는 것을 잊지 마십시오.
딥 러닝 전제 조건(DL 02)
딥 러닝 전제 조건(DL 02)
딥 러닝 과정에서 성공하려면 컴퓨터 과학 및 수학에 대한 배경 지식이 필요합니다. 특히 데이터 구조, 선형 대수학 및 다변수 미적분학 과정을 수강했어야 합니다. 이러한 각 전제 조건의 중요성에 대해 자세히 살펴보겠습니다.
이 상위 학부 컴퓨터 과학 과정에서는 프로그래밍 배경 지식이 중요합니다. 데이터 구조는 충분한 프로그래밍 경험이 있는지 확인하기 위한 전제 조건 역할을 합니다. 데이터 구조에서 발생하는 알고리즘 효율성과 관련된 개념을 이해하는 것도 도움이 될 것입니다.
이 과정에서 내 비디오는 주로 의사 코드를 사용하거나 계산을 수학적으로 표현합니다. 그러나 할당에는 Python과 Julia 모두에서 프로그래밍이 필요합니다. Python은 TensorFlow 및 PyTorch와 같은 딥 러닝 라이브러리에 널리 사용되므로 이러한 도구를 사용하여 연습할 수 있습니다. 반면 Julia는 수학과 계산 사이의 격차를 해소하는 데 탁월하여 신경망의 내부 작동을 더 쉽게 이해할 수 있습니다.
수학적 관점에서 우리는 선형 대수학 및 다변수 미적분학의 개념을 활용할 것입니다. 그러나 우리가 초점을 맞출 특정 개념은 해당 과정에서 일반적으로 가르치는 내용의 일부에 불과합니다. 이 과정 중 하나만 수강했다면 비교적 빠르게 다른 과정에서 필요한 개념을 따라잡을 수 있어야 합니다.
선형 대수학에서는 행렬 표기법에 익숙해지는 것이 필수적입니다. 딥 러닝에는 벡터, 행렬 및 고차원 배열(텐서)에 대한 작업이 포함됩니다. 행렬-벡터 곱, 행렬 및 벡터에 함수 적용, 내적 및 노름과 같은 연산에 능숙해야 합니다.
다변수 미적분은 과정 전체에서 사용되는 핵심 개념인 기울기를 이해하는 데 매우 중요합니다. 제품 규칙 및 몫 규칙과 같은 기본 미적분학에서 배운 규칙을 사용하여 기울기를 평가하고 편도함수를 취하는 것이 편해야 합니다.
선형 대수 또는 다변수 미적분학에 대한 지식이 확실하지 않은 경우 이러한 주제를 다지는 데 도움이 되는 Grant Sanderson의 비디오 재생 목록을 제공합니다. 재생 목록에서 강조 표시된 비디오는 과정에서 사용할 특정 개념을 다룹니다.
이러한 필수 과목에 대한 탄탄한 배경 지식을 갖추면 과정 첫 주에 활동과 과제를 수행하고 딥 러닝에 성공할 수 있는 준비가 잘 됩니다.
단일 뉴런은 무엇을 계산할 수 있습니까? (DL 03)
단일 뉴런은 무엇을 계산할 수 있습니까? (DL 03)
신경망은 수많은 연결을 가진 수많은 노드로 구성됩니다. 이를 더 잘 이해하기 위해 개별 뉴런에 초점을 맞추고 기능, 나타낼 수 있는 모델 유형 및 이러한 모델을 훈련할 수 있는 방법을 살펴보겠습니다.
신경망의 노드는 입력을 수신하고 간단한 계산을 수행하여 수치 출력을 생성합니다. 이 계산에는 두 단계가 포함됩니다. 첫째, 입력에 해당 가중치를 곱하고 합산합니다. 그런 다음 가중 입력의 합이 활성화 기능을 통해 전달되어 출력을 생성합니다.
수학적으로 출력은 가중 입력의 합에 활성화 함수(f로 표시)를 적용하여 얻습니다. 따라서 출력은 해당 입력과 편향 항을 곱한 각 가중치의 합에 활성화 함수를 적용한 결과입니다.
편향은 모든 입력이 0인 경우에도 합계가 0이 아닌 것을 허용합니다. 바이어스를 또 다른 가중치로 생각하고 노드에 들어가는 추가 화살표로 나타낼 수 있습니다. 모든 뉴런은 입력에 대해 가중 합계를 수행하지만 서로 다른 뉴런은 서로 다른 활성화 기능을 가질 수 있습니다.
단일 뉴런 모델의 경우 주목할만한 두 가지 활성화 함수는 선형 및 단계 함수입니다. 선형 활성화 함수를 사용하면 뉴런이 회귀를 수행할 수 있고 단계 함수를 사용하면 분류를 수행할 수 있습니다.
입력값이 하나인 뉴런의 경우 입력값에 가중치를 곱하고 편향을 더해 입력값의 가중합을 계산한다. 선택한 선형 활성화 함수 y = x를 사용하면 가중치(w1) 및 편향(b) 매개변수를 사용하여 x1의 모든 선형 함수를 표현할 수 있습니다. 따라서 이 뉴런은 1차원 입력(x1)과 1차원 출력(y)으로 모든 선형 함수를 계산할 수 있습니다.
뉴런에 더 많은 입력이 있으면 매핑이 다차원 입력으로 확장되지만 회귀에 적합한 선형 함수로 유지됩니다. 그러나 입력 차원이 증가함에 따라 함수를 시각화하는 것이 어려워집니다.
입력이 두 개인 뉴런의 경우 단계 함수를 활성화로 사용합니다. 입력의 가중 합계는 여전히 계산되며 합계가 양수가 되면 활성화가 0에서 1로 전환됩니다. 활성화는 구분 함수를 사용하여 설명할 수 있으며, 0 또는 1 출력을 초래하는 입력 간의 결정 경계는 입력의 가중 합이 0인 곳입니다. 이 설정은 입력이 뉴런의 출력에 따라 0 또는 1로 레이블이 지정되는 분류 작업에 적합합니다.
단일 뉴런을 사용하여 회귀 또는 분류를 수행하려면 입력-출력 쌍으로 구성된 데이터 세트가 필요합니다. 선택된 활성화 함수는 출력이 이진수(0 또는 1)인지 또는 연속인지에 따라 다릅니다. 입력 예제의 차원은 단일 뉴런 모델의 입력 및 가중치 수를 결정합니다.
신경망 또는 단일 뉴런을 교육하려면 데이터에서 모델의 편차를 정량화하는 손실 함수를 정의해야 합니다. 회귀 작업의 경우 제곱 오차의 합을 사용할 수 있는 반면 이진 출력이 있는 분류 작업은 다른 적절한 손실 함수를 사용할 수 있습니다.
학습 목표는 손실을 최소화하고 모델의 정확도를 향상시키는 방식으로 매개변수(가중치 및 편향)를 업데이트하는 것입니다. 경사 하강법은 매개변수를 업데이트하고 손실을 줄이는 데 사용되는 일반적인 최적화 기술입니다.
다음 비디오에서는 그래디언트 디센트의 개념과 모델의 성능을 개선하기 위해 매개변수 업데이트를 용이하게 하는 방법에 대해 자세히 설명합니다.
뉴런 훈련 방법(DL 04)
뉴런 훈련 방법(DL 04)
이전 비디오에서는 단일 뉴런의 계산을 살펴보았습니다. 우리는 뉴런이 입력의 가중 합을 취하고 편향을 추가하고 활성화 함수를 적용하여 계산한다는 것을 배웠습니다. 활성화에 단계 함수를 사용하면 이진 분류기가 제공되고 선형 함수는 회귀자가 제공됩니다.
또한 제곱 오차의 합을 사용하여 데이터 세트에서 모델의 손실을 측정하고 손실 함수의 기울기를 사용하여 모델을 교육하는 방법에 대해서도 논의했습니다. 손실 함수는 모델의 매개변수, 즉 가중치와 편향에 따라 다릅니다. 평균 제곱 오차는 일반적으로 계산에서 손실 함수로 사용됩니다.
손실 함수가 매개 변수에 어떻게 의존하고 손실을 줄이기 위해 어떻게 수정할 수 있는지 이해하기 위해 작은 회귀 데이터 세트에서 손실을 계산했습니다. 올바른 출력과 예측된 출력 사이의 제곱 차이를 합산하여 손실 값을 얻었습니다.
다음으로 손실 함수의 기울기를 찾는 데 중점을 두었습니다. 각 매개변수에 대한 손실의 편도함수를 도출했습니다. 이러한 편도함수는 기울기를 형성하여 손실을 줄이는 데 도움이 됩니다. 그래디언트의 반대 방향으로 매개변수를 업데이트하면 손실을 최소화하고 모델의 데이터셋 표현을 개선할 수 있습니다.
손실 함수를 매개변수 공간의 표면으로 시각화하고 그래디언트가 손실의 가장 급격한 증가 방향을 나타내는 방법에 대해 논의했습니다. 그래디언트의 반대 방향으로 작은 단계를 수행하면 반복적으로 손실을 줄이고 모델을 개선할 수 있습니다.
분류 작업의 경우 단계 함수 활성화의 미분을 수행할 때 문제가 발생했습니다. 이를 극복하기 위해 단계 함수를 시그모이드 함수라는 매끄러운 근사로 대체했습니다. 시그모이드 함수의 동작과 0과 1 사이의 확률적 출력을 생성하는 기능을 설명했습니다.
시그모이드 함수를 분류 예제에 적용하고 새로운 활성화를 사용하여 손실 및 기울기를 계산하는 방법을 시연했습니다. 매개변수를 업데이트하고 모델을 개선하는 프로세스는 회귀에서와 동일하게 유지됩니다.
마지막으로 동일한 공식을 여러 가중치 및 데이터 포인트에 적용하여 논의된 개념을 더 높은 차원으로 확장할 수 있음을 강조했습니다. 손실 계산, 기울기 계산 및 매개변수 업데이트의 일반 원칙은 입력의 차원에 관계없이 유지됩니다.
전반적으로 단일 뉴런의 계산, 손실 함수 및 그래디언트를 이해하면 신경망을 훈련하고 성능을 향상하기 위한 기반을 제공합니다.
데이터 분석 파이프라인(DL 05)
데이터 분석 파이프라인(DL 05)
딥 러닝 수업에서 우리는 신경망 연구에 대해 깊이 파고들 것입니다. 그러나 신경망 또는 기계 학습 모델은 더 큰 시스템의 일부일 뿐이라는 점을 기억하는 것이 중요합니다. 데이터를 신경망에 입력하기 전에 데이터를 수집하고 네트워크가 이해할 수 있는 형식으로 처리해야 합니다. 마찬가지로 신경망의 출력에는 종종 후처리 또는 추가 분석이 필요합니다.
학기 내내 데이터 분석 파이프라인의 메타포를 염두에 두는 것이 도움이 될 것입니다. 이 비유는 기계 학습의 목표가 세계에 대한 관찰을 세계에 대한 예측으로 변환하는 것이며 신경망은 이 프로세스의 한 단계일 뿐임을 강조합니다. 파이프라인은 데이터가 통과하는 단계와 각 단계가 다음 단계에 기여하는 방식을 고려하도록 상기시킵니다.
다른 문제에는 파이프라인의 다른 단계가 필요합니다. 표준화되거나 시뮬레이션된 데이터 세트를 사용하면 특정 단계를 건너뛸 수 있지만 딥 러닝의 실제 응용 프로그램에서는 데이터 분석의 실용적인 측면을 고려해야 합니다.
데이터 분석 파이프라인의 몇 가지 중요한 측면에 대해 자세히 살펴보겠습니다. 첫 번째 단계는 데이터 수집입니다. 경우에 따라 기존 데이터 세트를 사용할 수 있지만 딥 러닝으로 새로운 문제를 해결하려면 모델 교육에 적합한 데이터를 결정해야 합니다. 최근 딥러닝의 성공이 대용량 데이터셋에 의존하고 있는 점을 고려하여 데이터를 수집할 때 충분한 양을 확보해야 합니다. 그러나 특히 계산 리소스가 제한적인 경우 데이터가 너무 많다는 문제도 있습니다. 경우에 따라 제한된 양의 데이터로 작업하는 것이 특히 탐색 및 문제 발견 중에 유용할 수 있습니다. 훈련에 사용하는 데이터 세트가 해결하려는 문제를 대표하는지 확인하는 것이 중요합니다. 여기에는 분류 작업에서 원하는 모든 클래스의 표현과 같은 요소를 고려하고 모델이 인식해야 하는 중요한 이상값을 간과하지 않는 것이 포함됩니다.
또 다른 과제는 데이터 세트에서 체계적인 편향을 식별하는 것입니다. 편향은 다양한 방식으로 발생할 수 있습니다. 예를 들어 화창한 날에 촬영한 이미지가 과도하게 표현되어 흐린 조건에서 이미지 분류기가 어려움을 겪을 수 있습니다. 편향은 또한 건강이나 교육과 관련된 예측에 영향을 미칠 수 있으며, 개인 요인을 더 넓은 사회 구조에 기인합니다. 데이터 수집 중에 잠재적 편향을 염두에 두는 것이 중요합니다. 그러나 편향을 해결하고 수정하는 것은 지속적인 딥 러닝 연구가 필요한 복잡한 문제입니다.
데이터를 수집한 후 기계 학습이나 기타 처리 기술을 적용하기 전에 데이터를 정리해야 하는 경우가 많습니다. 이 단계에는 누락된 데이터 처리, 데이터의 어떤 차원이 관련이 있는지 결정, 예제 간에 다른 차원 처리가 포함됩니다. 데이터의 적절한 레이블 지정은 지도 학습에 매우 중요합니다. 특히 수화를 전사하거나 음성 대 텍스트 불일치를 처리할 때 적절한 레이블을 얻는 것은 어려울 수 있습니다. 레이블은 모델이 학습하려는 데이터의 측면을 정확하게 나타내야 합니다.
다음으로 데이터를 신경망 또는 기계 학습 모델 훈련에 적합한 숫자 형식으로 변환해야 합니다. 신경망은 벡터 또는 행렬 형태의 숫자 입력을 기대합니다. 숫자 인코딩 프로세스는 문제에 따라 난이도가 다릅니다. 예를 들어 이미지 데이터 처리는 이미 컴퓨터에서 사용되는 픽셀 기반 표현으로 인해 상대적으로 간단합니다. 그러나 ASCII 형식으로 인코딩된 텍스트 데이터를 처리하려면 대체 표현이 필요합니다. 데이터 표현 또는 차원을 변환하는 것은 문제가 더욱 복잡해짐에 따라 점점 더 중요해지고 있습니다.
또한 특히 신경망이 0에서 1 범위의 값을 출력하는 경향이 있는 경우 데이터를 정규화하는 것이 도움이 될 수 있습니다. 정규화에는 데이터 값의 범위를 조정하여 신경망에 대한 입력이 서로 더 가까워지도록 합니다. 신경망의 출력 후에 후처리 단계를 수행해야 할 수도 있습니다. 여기에는 네트워크의 출력을 원하는 예측 형식으로 디코딩하고, 예측 신뢰도를 전달하고, 모델의 예측을 사용할 애플리케이션 또는 알고리즘을 고려하는 것이 포함됩니다.
데이터를 처리하고 신경망을 훈련하면 평가 및 조정 단계로 넘어갈 수 있습니다. 여기에서 모델의 성능을 평가하고 개선합니다. 평가에는 이전에 별도로 설정한 테스트 세트를 사용하는 것이 포함됩니다. 훈련된 신경망을 이 보이지 않는 데이터에 적용하여 새로운 예에 얼마나 잘 일반화되는지 측정할 수 있습니다. 우리는 일반적으로 모델의 성능을 평가하기 위해 정확도, 정밀도, 재현율 및 F1 점수와 같은 지표를 사용합니다. 이러한 메트릭은 신경망이 얼마나 효과적으로 예측을 수행하는지에 대한 통찰력을 제공합니다.
평가 결과에 따라 모델이 성능이 저하되거나 한계를 보일 수 있는 영역을 식별할 수 있습니다. 이 정보는 필요한 조정 및 개선을 수행하는 데 도움이 됩니다. 모델 아키텍처, 하이퍼파라미터를 반복하거나 필요한 경우 추가 데이터를 수집할 수도 있습니다. 목표는 모델의 성능을 개선하고 원하는 정확도와 신뢰성을 달성하는 것입니다.
튜닝 프로세스 중에 다양한 구성과 설정을 실험하여 모델의 성능을 최적화합니다. 여기에는 학습률, 배치 크기, 정규화 기술과 같은 하이퍼파라미터 조정이 포함됩니다. 체계적인 탐색과 실험을 통해 신경망의 효율성을 극대화하는 최적의 설정 조합을 찾는 것을 목표로 합니다.
모델 자체를 미세 조정하는 것 외에도 응용 프로그램의 더 넓은 맥락을 고려합니다. 해결하려는 특정 문제와 모델 예측의 실제 의미를 고려합니다. 여기에는 실제 모델 배포의 사회적, 윤리적, 법적 측면을 검토하는 것이 포함됩니다. 모델이 공정하고 편파적이지 않으며 문제 도메인의 가치 및 요구 사항과 일치하는지 확인하는 것이 중요합니다.
딥 러닝 실무자로서 우리의 책임은 정확한 모델을 개발하는 것 이상으로 확장됩니다. 잠재적인 편향이나 한계를 고려하여 결과를 비판적으로 분석하고 해석해야 합니다. 시간이 지남에 따라 효율성을 유지하려면 모델의 성능을 정기적으로 재방문하고 재평가해야 합니다.
딥 러닝 수업에서 신경망을 공부하려면 신경망이 더 큰 시스템의 일부라는 것을 이해해야 합니다. 데이터 수집에서 전처리, 교육 및 평가에 이르는 데이터 분석 파이프라인은 신중한 고려가 필요한 여러 단계를 포함합니다. 전체 프로세스를 염두에 두고 모델을 지속적으로 개선함으로써 딥 러닝의 힘을 효과적으로 활용하여 정확한 예측을 하고 실제 문제를 해결할 수 있습니다.
샘플 외 검증(DL 06)
샘플 외 검증(DL 06)
기계 학습에서 모델 평가에는 새로운 예측을 수행하고 본 적이 없는 데이터에 대한 테스트가 포함됩니다. 이 토론에서는 데이터를 효과적으로 사용하여 기계 학습 모델을 검증하고 개선하는 방법을 살펴보겠습니다.
모델 선택 프로세스는 주어진 문제를 해결하기 위해 사용 가능한 옵션을 식별하는 것으로 시작됩니다. 이는 모델이 나타낼 수 있는 함수 유형을 정의하는 모델의 가설 공간 개념으로 이어집니다. 가설 공간은 선택한 입력 표현 및 필요한 출력 유형과 같은 요인에 의해 제한됩니다.
특정 모델이나 기계 학습 알고리즘을 선택한 후에는 조정할 수 있는 모델의 다양한 측면이 있습니다. 여기에는 데이터를 사용하여 훈련되는 가중치 및 편향과 같은 모델의 매개변수 조정이 포함됩니다. 또한 학습 속도 또는 반복 횟수와 같은 다른 측면은 모델의 성능에 영향을 미치는 하이퍼 매개변수로 간주될 수 있습니다.
다양한 옵션을 효과적으로 탐색하고 테스트하기 위해 실험적 검증에 의존합니다. 여기에는 데이터 세트를 교육 및 테스트 세트로 나누는 작업이 포함됩니다. 훈련 세트는 모델을 훈련하는 데 사용되는 반면 테스트 세트는 보이지 않는 데이터에 대한 성능을 평가하는 데 사용됩니다. 테스트 세트의 다른 모델 또는 하이퍼파라미터를 비교하여 새로운 데이터로 일반화하는 데 더 효과적인 모델을 결정할 수 있습니다.
우리의 목표는 보이지 않는 새로운 데이터에 대해 정확한 예측을 할 수 있는 모델을 개발하는 것이기 때문에 일반화는 기계 학습의 중요한 측면입니다. 모델이 교육 데이터에 너무 구체적이 되는 과적합은 좋은 일반화를 달성하는 데 공통적인 문제입니다. 샘플 외부 유효성 검사를 위해 데이터의 일부를 분리하여 모델이 과적합되었는지 아니면 성공적으로 일반화되었는지 평가할 수 있습니다.
여러 하이퍼파라미터를 탐색할 때 값을 체계적으로 변경하거나 그럴듯한 범위에서 무작위로 샘플링할 수 있습니다. 무작위화를 통해 더 넓은 범위의 값을 효율적으로 탐색할 수 있습니다. 그러나 광범위한 실험으로 인해 테스트 세트가 과대적합되는 경우 데이터를 교육, 검증 및 테스트 세트로 추가로 분리하거나 교차 검증을 사용해야 할 수 있습니다.
교차 유효성 검사에는 데이터를 여러 하위 집합으로 나누고 이러한 하위 집합의 다양한 조합에서 모델을 반복적으로 교육 및 테스트하는 작업이 포함됩니다. 이 접근 방식은 모델의 성능 및 일반화 능력에 대한 보다 강력한 추정을 제공합니다.
기계 학습의 핵심 아이디어는 훈련 데이터와 테스트 데이터를 분리하여 모델을 실험적으로 검증하는 것입니다. 이를 통해 보이지 않는 예에 대한 성능을 평가하고 모델 선택 및 하이퍼파라미터 튜닝에 대해 정보에 입각한 결정을 내릴 수 있습니다.
피드포워드 신경망(DL 07)
피드포워드 신경망(DL 07)
신경망은 단일 뉴런과 달리 여러 계층으로 구성되며 노드를 통해 계산을 수행합니다. 각 노드는 입력의 가중 합을 계산하고 활성화 함수를 적용합니다. 신경망에서 노드의 입력은 이전 노드 활성화에서 나올 수 있으며 계산된 활성화는 이후 노드로 전달될 수 있습니다.
예를 들어, 네트워크의 뉴런 8은 뉴런 5, 6, 7로부터 입력을 받습니다. 뉴런 8이 수행하는 입력의 가중 합은 해당 가중치와 편향을 곱한 해당 뉴런의 활성화 합계입니다. 그런 다음 활성화 함수가 가중 합계에 적용됩니다. 뉴런 8의 출력은 노드 11과 12의 입력으로 사용됩니다. 하이퍼볼릭 탄젠트 및 ReLU(정류기 선형 단위)와 같은 다양한 활성화 함수를 신경망에서 사용할 수 있습니다.
예측을 위해 신경망을 사용하여 계산을 수행하려면 입력 데이터를 기반으로 입력 레이어 노드의 활성화를 설정하는 것으로 시작합니다. 입력 레이어 노드는 단순히 입력 벡터의 값을 저장합니다. 입력 및 출력 레이어의 크기는 데이터의 차원과 원하는 예측에 따라 다릅니다. 레이어로 구성된 네트워크의 숨겨진 뉴런은 입력과 출력 사이에서 계산을 수행합니다. 각 레이어의 활성화를 계산하여 이전 활성화를 참조하여 입력을 다음 레이어로 전달할 수 있습니다. 이러한 활성화는 가중치 업데이트 중 경사하강법에도 필요합니다. 신경망에 숨겨진 계층이 있으면 비선형 활성화 기능을 사용할 수 있습니다. 선형 활성화는 다중 계층 네트워크에서 이점을 제공하지 않습니다. 시그모이드 함수와 같은 비선형 활성화 함수를 사용하면 다양한 함수를 표현할 수 있습니다.
AND, OR 및 NOT과 같은 논리적 연산을 나타내는 뉴런은 단계 함수 분류기를 사용하여 구성할 수 있습니다. 시그모이드 활성화를 사용하여 이러한 논리 연산을 근사함으로써 신경망은 모든 부울 함수를 나타낼 수 있습니다. 신경망을 훈련하기 위해 기울기 하강법을 사용하여 가중치와 편향을 업데이트합니다. 네트워크의 매개변수에는 전체 네트워크의 모든 가중치와 편향이 포함됩니다. 출력 뉴런이 여러 개인 네트워크의 손실 함수는 모든 출력 뉴런에 대해 합산된 평균 제곱 오차일 수 있습니다. 목표는 매개변수를 반복적으로 업데이트하여 손실을 줄이는 것입니다.
기울기 하강법은 손실을 최소화하기 위해 기울기의 반대 방향으로 단계를 수행하여 매개변수에 대한 손실의 기울기를 계산하여 수행됩니다. 이 프로세스를 역전파라고 하며 네트워크가 예측을 학습하고 개선할 수 있습니다. 다음 비디오에서는 신경망에서 경사하강법 업데이트를 수행하는 데 사용되는 역전파 알고리즘에 대해 자세히 살펴보겠습니다. 역전파를 사용하면 네트워크 매개변수와 관련하여 손실 기울기를 효율적으로 계산할 수 있습니다.
프로세스는 출력 활성화에 대한 손실 함수의 기울기를 계산하는 것으로 시작합니다. 이 기울기는 출력 활성화의 변화에 대한 손실의 민감도를 나타냅니다. 손실은 활성화 함수를 통한 출력 활성화와 목표 값과의 차이 제곱에 따라 달라지므로 체인 규칙을 적용하여 얻을 수 있습니다. 출력 활성화에 대한 손실 기울기가 계산되면 네트워크를 통해 역방향으로 전파됩니다. 각 레이어에서 기울기는 입력의 가중 합에 대한 활성화 함수의 도함수로 곱해집니다. 이 도함수는 가중 합계의 변화에 대한 활성화 민감도를 포착합니다.
그래디언트를 역방향으로 전파하면 이전 레이어의 활성화에 대한 손실의 그래디언트를 계산할 수 있습니다. 이러한 변화도는 이전 계층의 각 활성화가 손실에 기여하는 정도를 나타냅니다. 활성화에 대한 손실 기울기를 사용하여 각 계층의 가중치 및 편향에 대한 손실 기울기를 계산할 수 있습니다. 이러한 그래디언트는 이전 레이어의 활성화에 해당하는 활성화 함수의 그래디언트를 곱하여 얻습니다. 마지막으로 매개변수에 대한 손실의 기울기로 기울기 하강법 알고리즘을 사용하여 가중치와 편향을 업데이트할 수 있습니다. 그래디언트와 반대 방향으로 조치를 취함으로써 네트워크의 매개변수를 점진적으로 최적화하여 손실을 최소화합니다.
정방향 전파, 역방향 전파 및 매개변수 업데이트의 반복 프로세스는 특정 에포크 동안 또는 손실이 만족스러운 값으로 수렴될 때까지 반복됩니다. 이 훈련 과정을 통해 신경망은 제공된 훈련 데이터를 기반으로 가중치와 편향을 조정하여 더 나은 예측을 하는 방법을 학습합니다.
신경망은 복잡한 계산을 수행하고 예측하기 위해 여러 계층과 비선형 활성화 기능을 활용합니다. 역전파 알고리즘과 경사 하강법을 사용함으로써 신경망은 데이터에서 학습하고 매개변수를 최적화하여 예측 기능을 향상시킬 수 있습니다.
신경망 역전파(DL 08)
신경망 역전파(DL 08)
이번 영상에서는 확률적 경사하강법을 통해 신경망 훈련에 사용되는 역전파 알고리즘을 도출해 보겠습니다. 알고리즘은 세 가지 주요 단계로 구성됩니다.
먼저 피드포워드 패스를 수행하여 데이터 포인트에 대한 예측을 수행합니다. 이러한 예측은 예측 출력과 실제 출력 간의 오류를 나타내는 손실을 결정합니다. 다음으로 역전파를 수행하여 손실의 편도함수를 계산합니다. 출력 및 숨겨진 레이어의 각 뉴런에 대해 "델타"라는 수량을 계산합니다. 델타는 해당 뉴런에서 입력의 가중 합계에 대한 손실의 편도함수를 나타냅니다. 체인 규칙을 적용하면 손실에 미치는 영향을 고려하여 각 뉴런에 대한 델타를 계산할 수 있습니다.
출력 레이어 뉴런의 델타를 계산하기 위해 활성화 함수의 도함수와 대상과 활성화 간의 차이를 사용합니다. 이 계산은 손실과 입력의 가중 합계 사이의 관계를 고려합니다. 숨겨진 레이어 뉴런의 경우 다음 레이어의 뉴런에 미치는 영향을 고려하고 다음 레이어 노드의 기여도와 가중치 및 활성화 도함수를 곱하여 델타를 재귀적으로 계산합니다. 모든 뉴런에 대한 델타를 계산하고 나면 이를 사용하여 가중치와 편향의 편도함수를 계산할 수 있습니다.
각 가중치에 대한 부분 도함수는 해당 델타와 이전 계층 뉴런의 활성화의 곱입니다. 마찬가지로 각 편향에 대한 편도함수는 해당 델타와 같습니다.
경사 하강법을 수행하기 위해 배치라고 하는 데이터 포인트의 하위 집합에 대해 편도함수의 평균을 냅니다. 이 접근 방식을 확률적 경사 하강법이라고 합니다. 학습률을 곱한 평균 편도함수로 가중치와 편향을 업데이트하여 손실을 최소화하는 방향으로 매개변수를 이동합니다.
실제로 모든 데이터 포인트에 대한 델타 및 편도함수를 계산하는 대신 무작위 배치와 함께 확률적 경사 하강법을 사용하는 경우가 많습니다. 데이터의 하위 집합을 임의로 샘플링하고 해당 하위 집합에 대한 평균 손실과 기울기를 계산하고 그에 따라 매개 변수 업데이트를 수행합니다. 이렇게 하면 특히 대규모 데이터 세트의 경우 교육 프로세스 속도가 빨라집니다.
역전파 알고리즘은 정방향 및 역방향 패스를 결합하여 델타 및 편도함수를 계산한 다음 확률적 경사하강법 업데이트에 사용합니다. 매개변수를 반복적으로 업데이트함으로써 신경망은 손실을 최소화하고 예측을 개선하는 방법을 학습합니다.
분류를 위한 더 나은 활성화 및 손실: Softmax 및 Categorical Crossentropy(DL 09)
분류를 위한 더 나은 활성화 및 손실: Softmax 및 Categorical Crossentropy(DL 09)
시그모이드 뉴런이 있는 신경망을 사용하여 다중 클래스 분류를 수행할 때 발생하는 특정 제한 사항이 있습니다. 이전에는 두 개의 클래스만 처리할 때 하나의 뉴런이 0 또는 1을 출력할 수 있었습니다. 그러나 손으로 쓴 숫자를 0에서 9까지 분류하는 것과 같이 여러 레이블이 관련된 경우 다른 표현이 필요합니다.
일반적인 접근 방식 중 하나는 레이블을 원-핫 벡터로 인코딩하는 것입니다. 여기서 각 레이블은 고유한 차원을 가지며 한 번에 하나의 차원만 활성화됩니다. 예를 들어, 5차원 벡터는 5개의 가능한 레이블을 나타낼 수 있으며 차원 4는 활성화되어 네 번째 레이블을 나타냅니다. 시그모이드 뉴런 기반 출력 계층이 잠재적으로 이러한 유형의 출력을 생성할 수 있지만 실제적인 문제가 있습니다.
첫 번째 문제는 시그모이드 레이어가 여러 레이블에 대해 상대적으로 큰 값을 출력하여 예측을 해석하기 어렵게 만들 수 있다는 것입니다. 이상적으로는 출력 레이어가 0과 1 또는 다른 가능한 레이블에 대한 신뢰도를 반영하는 무언가를 생성하기를 원할 것입니다. 두 번째 문제는 시그모이드 출력 레이어를 훈련하는 동안 발생합니다. 대상이 원-핫 벡터인 경우 그래디언트 디센트를 사용하여 올바른 레이블에 대해 활성화를 1로, 다른 레이블에 대해 0으로 푸시합니다. 그러나 시그모이드 함수의 특성으로 인해 오류가 더 큰 뉴런은 델타가 더 작을 수 있으므로 잘못된 예측을 자신 있게 수정하기가 어렵습니다.
기울기 소실 문제로 알려진 유사한 문제가 숨겨진 뉴런에 대해 시그모이드 활성화를 사용할 때도 발생합니다. 그러나 이 비디오에서는 이러한 문제를 해결하기 위해 출력 활성화와 손실 기능의 대체 조합에 중점을 둡니다. 시그모이드 활성화 대신 출력 레이어에 대한 소프트맥스 활성화를 도입합니다. Softmax 활성화는 전체 레이어에서 계산되어 입력 간의 차이를 확대하고 활성화를 정규화하여 합이 1이 되도록 합니다. 그 결과 예측으로 더 해석하기 쉽고 가능한 각 레이블에 대한 네트워크의 신뢰도로 볼 수 있는 출력이 생성됩니다.
softmax 활성화를 효과적으로 사용하기 위해 범주형 교차 엔트로피 손실 함수와 쌍을 이룹니다. 교차 엔트로피 손실은 대상 뉴런에 대한 활성화의 음의 로그를 계산하며 이는 원-핫 벡터를 사용할 때 활성화의 로그로 단순화됩니다. 이 조합을 사용하면 효과적인 경사하강법 업데이트가 가능합니다. 출력 레이어에 대한 델타를 계산하기 위해 활성화와 관련된 손실의 편도함수를 도출합니다. 대상 뉴런의 경우 파생값은 -1을 활성화로 나눈 값입니다. 다른 뉴런의 경우 도함수는 0입니다. softmax 활성화의 상호 의존성으로 인해 대상 뉴런만 0이 아닌 도함수를 가지더라도 모든 입력에 대해 0이 아닌 델타가 얻어집니다.
이러한 공식을 사용하여 출력 레이어의 대상 뉴런과 다른 뉴런 모두에 대한 델타를 계산할 수 있습니다. 대상 뉴런의 델타는 활성화에서 1을 뺀 값이므로 계산하기 쉽습니다. 다른 뉴런에 대한 델타는 부정적인 활성화 자체로 단순화됩니다.
이러한 softmax 활성화와 범주형 교차 엔트로피 손실의 조합을 통해 분류 문제에 대한 의미 있는 출력을 달성하고 출력을 올바른 예측으로 효율적으로 푸시하는 그래디언트를 얻습니다. softmax 활성화 및 범주형 교차 엔트로피 손실을 사용하면 다중 클래스 분류를 위한 강력한 프레임워크가 제공됩니다. 이러한 구성 요소가 어떻게 함께 작동하여 신경망을 효과적으로 훈련할 수 있는지 자세히 살펴보겠습니다.
출력 레이어에 대한 델타를 계산하고 나면 이 델타는 역전파의 시작점 역할을 하며, 여기에서 가중치를 업데이트하기 위해 네트워크를 통해 오류 기울기를 역전파합니다. 출력 레이어를 이전 레이어에 연결하는 가중치를 업데이트하기 위해 델타 값을 사용하고 경사 하강법 알고리즘을 적용할 수 있습니다. 가중치 업데이트는 각 출력 뉴런의 델타에 해당 가중치의 입력 활성화를 곱하고 가중치를 학습률로 조정하여 결정됩니다.
네트워크를 통해 델타를 역전파함으로써 숨겨진 레이어의 가중치에 대한 그래디언트도 계산할 수 있습니다. 이를 통해 숨겨진 레이어의 가중치를 적절하게 업데이트하여 네트워크 성능을 더욱 개선할 수 있습니다. softmax 활성화 및 범주형 교차 엔트로피 손실을 사용할 때 softmax가 출력 레이어에만 적용되도록 해야 한다는 점에 유의하는 것이 중요합니다. 숨겨진 레이어의 경우 ReLU(Rectified Linear Unit) 또는 tanh와 같은 활성화 함수를 사용하는 것이 좋습니다. Softmax 활성화를 통해 각 클래스에 대한 확률 또는 신뢰 점수로 해석할 수 있는 출력을 얻을 수 있습니다. 출력 벡터의 값 합계는 1이므로 예측에 대한 네트워크의 신뢰도를 측정할 수 있습니다. 값이 높을수록 특정 클래스에 대한 신뢰도가 높음을 나타냅니다.
범주형 교차 엔트로피 손실은 예측 확률과 실제 레이블 간의 불일치를 효과적으로 측정하여 softmax 활성화를 보완합니다. 이는 네트워크가 예측 확률과 원-핫 인코딩된 대상 벡터 간의 차이를 최소화하도록 권장하여 네트워크를 보다 정확한 예측으로 밀어냅니다.
softmax 활성화와 범주형 교차 엔트로피 손실을 결합하여 몇 가지 이점을 얻을 수 있습니다. 우리는 의미 있고 해석 가능한 출력을 얻음으로써 다양한 클래스에 대한 네트워크의 예측 및 신뢰 수준을 이해할 수 있습니다. 범주형 교차 엔트로피 손실에서 파생된 그래디언트는 보다 효과적인 학습과 향상된 정확도로 이어지는 방식으로 가중치 업데이트를 안내합니다. 각각 다른 유형의 문제에 적합한 다른 활성화 함수와 손실 함수가 있음을 언급할 가치가 있습니다. 그러나 범주형 교차 엔트로피 손실이 있는 softmax 활성화는 다중 클래스 분류 작업에 대한 성공적인 조합으로 입증되어 해석 가능성과 효과적인 훈련 역학을 모두 제공합니다.
요약하면 다중 클래스 분류 신경망에서 softmax 활성화 및 범주 교차 엔트로피 손실을 사용하면 의미 있는 예측을 얻고 신뢰 수준을 해석하고 효율적인 경사 하강법 업데이트를 수행할 수 있습니다. 이 조합은 다양한 분류 작업에서 정확하고 신뢰할 수 있는 결과를 얻는 데 중요한 역할을 합니다.
벡터화로 신경망을 빠르게 만들기(DL 10)
벡터화로 신경망을 빠르게 만들기(DL 10)
신경망의 내부 작동을 이해하려면 개별 뉴런 수준을 조사하고 뉴런 간의 연결을 고려하는 것이 좋습니다. 활성화를 계산하는 순방향 패스와 델타를 계산하는 역방향 패스 중에 노드와 에지 측면에서 생각하면 직관을 구축하는 데 도움이 될 수 있습니다. 그러나 딥 러닝은 실제로 이런 방식으로 작동하지 않습니다. 효율적으로 훈련할 수 있는 대규모 신경망을 구축하려면 더 높은 수준의 추상화로 이동하고 벡터, 행렬 및 텐서 측면에서 생각해야 합니다.
이 상위 수준의 추상화를 향한 첫 번째 단계는 계층의 활성화를 벡터로 나타내는 것입니다. 신경망이 레이어로 구성되어 있으면 레이어의 활성화를 벡터로 수집할 수 있습니다. 예를 들어, 벡터 A^l은 레이어 l에 대한 모든 활성화를 해당 레이어에 있는 노드 수만큼의 항목과 함께 저장합니다. 마찬가지로 역전파 중에 레이어의 델타를 벡터로 수집할 수 있습니다. 벡터를 사용하여 레이어의 바이어스 또는 입력을 나타낼 수도 있습니다.
이 벡터화된 표기법으로 계산을 표현하기 위해 먼저 노드가 입력의 가중 합계를 계산하는 방법을 살펴보겠습니다. 노드 5의 활성화 함수로 들어가는 입력 X^5는 이전 레이어의 활성화와 편향의 가중 합으로 계산됩니다. 이전 레이어의 활성화를 벡터 A^K로 수집하고 가중치 벡터를 노드 5로 가져옴으로써 입력의 가중치 합을 이 두 벡터 사이의 내적으로 나타낼 수 있습니다. 내적을 작성하는 또 다른 방법은 첫 번째 벡터를 전치하고 행 벡터와 열 벡터 간에 행렬 곱셈을 수행하는 것입니다. 따라서 노드 5에 대한 입력을 이전 레이어의 활성화 벡터와 노드 5의 바이어스를 곱한 노드 5(전치)로 들어오는 가중치 벡터로 표현할 수 있습니다.
이 벡터화된 표기법은 더 나아가 계층 l에 대한 전체 입력 벡터를 한 번에 계산할 수 있습니다. 노드 5에 대한 가중치의 행 벡터와 해당 레이어의 다른 뉴런에 대한 가중치의 행 벡터를 결합하여 레이어 K에서 레이어 l까지의 모든 가중치를 포함하는 행렬을 얻습니다. 이 가중치 행렬은 레이어 l에 있는 노드 수만큼의 행(각 행은 레이어 l 뉴런 중 하나에 대한 가중치 벡터를 나타냄)과 이전 레이어 K에 있는 노드 수만큼의 열(각 열은 레이어 K 노드 중 하나에서 나오는 가중치). 이 가중치 행렬에 계층 K에 대한 활성화 벡터를 곱하면 각 요소가 계층 l 노드 중 하나에 대한 입력의 가중 합계를 나타내는 벡터가 됩니다. 활성화 함수 입력을 얻기 위해 벡터로 수집된 이 벡터에 편향을 추가합니다.
이제 행렬-벡터 곱셈, 벡터 덧셈 및 요소별 함수를 사용하여 레이어에 대한 모든 입력을 계산하는 작업을 표현할 수 있습니다. 이전에는 이러한 계산에 중첩 루프가 필요했지만 이제는 벡터화된 방식으로 효율적으로 수행할 수 있습니다.
앞으로 우리는 이 벡터화된 접근 방식을 역방향 패스로 확장할 수 있습니다. 한 번에 하나의 뉴런을 고려하는 대신 레이어 K의 노드에 대한 델타를 다음 레이어의 모든 델타의 가중 합에 해당 노드의 활성화 함수의 도함수를 곱한 값으로 계산할 수 있습니다. 다시 말하지만, 이 가중 합을 내적으로 표현할 수 있습니다. 노드 3에서 나오는 가중치 행 벡터에 레이어 l에 대한 델타 벡터를 곱한 다음 활성화 도함수를 곱하면 레이어 K에 대한 델타 벡터를 계산할 수 있습니다. 레이어에 대한 모든 가중치를 수집하는 가중치 행렬을 사용하여 l 개의 뉴런에 레이어 l의 델타 벡터를 곱하면 크기가 가중치 행렬과 일치하는 행렬을 얻을 수 있습니다.
매트릭스 작업을 활용하여 피드 포워드 조밀하게 연결된 신경망 컴퓨팅에서 상당한 성능 향상을 얻을 수 있습니다. 이는 이러한 계산을 크게 가속화할 수 있는 그래픽 프로세서(GPU)와 같은 특수 하드웨어에서 행렬 연산을 효율적으로 실행할 수 있기 때문에 특히 유리합니다.
행렬을 사용하여 신경망 계산을 나타낼 때 순방향 전달, 역방향 전달 및 가중치 업데이트를 매우 효율적이고 병렬화된 방식으로 수행할 수 있습니다. 주요 단계를 요약해 보겠습니다.
Forward Pass: 행렬-벡터 곱셈 및 요소별 활성화 함수 적용을 수행하여 전체 데이터 배치에 대한 각 레이어의 활성화를 계산할 수 있습니다. 각 열이 다른 데이터 포인트에 대한 활성화를 나타내는 매트릭스로 활성화를 구성하면 전체 배치에 대한 활성화를 효율적으로 계산할 수 있습니다.
역방향 패스: 마찬가지로 벡터화된 방식으로 각 레이어의 델타(오류 기울기)를 계산할 수 있습니다. 각 열이 특정 데이터 포인트의 델타에 해당하는 행렬로 델타를 나타내면 활성화 도함수를 사용하여 행렬-벡터 곱셈 및 요소별 곱셈을 수행하여 전체 배치에 대한 델타를 효율적으로 계산할 수 있습니다.
가중치 업데이트: 가중치와 편향을 업데이트하기 위해 행렬 연산을 사용하여 델타 행렬과 가중치 행렬의 전치 사이의 내적을 계산할 수 있습니다. 이 작업은 각 항목이 특정 가중치에 대한 업데이트를 나타내는 가중치 업데이트 매트릭스를 생성합니다. 내적을 배치 크기로 나누어 평균 업데이트를 얻은 다음 평균 업데이트에 곱한 학습률을 빼서 가중치를 업데이트할 수 있습니다. 편향 업데이트는 열 전체의 델타 벡터의 평균을 구하고 학습률에 편향의 평균을 곱한 값을 빼서 계산합니다.
이러한 계산을 벡터화하고 행렬 연산을 활용함으로써 상당한 계산 효율성을 달성하고 병렬 처리를 위한 하드웨어 가속을 활용할 수 있습니다. 이 접근 방식을 통해 대규모 신경망을 효율적으로 훈련하여 광범위한 작업 및 데이터 세트에서 딥 러닝을 실현할 수 있습니다.
텍스트에서 벡터화 및 행렬 연산 활용에 대한 높은 수준의 개요를 제공했지만 실제 구현 세부 사항은 사용된 프로그래밍 언어 또는 프레임워크에 따라 다를 수 있습니다. 다양한 언어와 프레임워크에는 매트릭스 작업을 위한 자체 최적화된 기능과 라이브러리가 있어 성능을 더욱 향상시킬 수 있습니다.
성능 이점 외에도 딥 러닝에서 매트릭스 작업을 활용하면 다음과 같은 다른 이점이 있습니다.
단순성 및 코드 가독성: 행렬 연산을 사용하면 신경망 계산을 위한 코드가 더 간결해지고 이해하기 쉬워집니다. 개별 데이터 포인트에 대해 명시적인 루프를 작성하는 대신 행렬 연산을 사용하여 보다 간결하고 직관적인 형태로 계산을 표현할 수 있습니다.
소프트웨어 호환성: TensorFlow 및 PyTorch와 같은 널리 사용되는 많은 딥 러닝 프레임워크 및 라이브러리는 매트릭스 작업의 효율적인 구현을 제공합니다. 이러한 프레임워크는 종종 BLAS(기본 선형 대수 하위 프로그램) 또는 cuBLAS(CUDA 기본 선형 대수 하위 프로그램)와 같은 최적화된 선형 대수 라이브러리를 활용하여 CPU 또는 GPU에서 행렬 계산을 가속화합니다. 이러한 프레임워크를 활용하여 최적화된 구현의 이점을 얻고 딥 러닝 파이프라인의 다른 구성 요소와의 호환성을 보장할 수 있습니다.
다른 계층 유형에 대한 일반화: 행렬 연산은 densely connected 계층뿐만 아니라 convolutional 계층 및 recurrent 계층과 같은 다른 계층 유형에도 적용할 수 있습니다. 계산을 매트릭스 형식으로 표현함으로써 다양한 레이어 유형에서 동일한 효율적인 매트릭스 작업 및 최적화를 활용하여 구현을 단순화하고 전반적인 성능을 향상시킬 수 있습니다.
하드웨어 가속과의 통합: GPU 또는 Tensor Processing Unit(TPU)과 같은 특수 하드웨어는 매트릭스 계산을 가속화하도록 설계되었습니다. 이러한 하드웨어 가속기는 대규모 병렬 매트릭스 작업을 수행하는 데 탁월하므로 딥 러닝 워크로드에 이상적입니다. 매트릭스 작업을 활용하여 이러한 하드웨어 가속기와 원활하게 통합하고 기능을 최대한 활용하여 교육 및 추론 시간을 크게 단축할 수 있습니다.
요약하면 딥 러닝에서 매트릭스 작업을 활용하면 성능 이점, 코드 단순성, 소프트웨어 호환성 및 하드웨어 가속기와의 통합이 제공됩니다. 신경망 계산을 매트릭스 형태로 표현하고 최적화된 매트릭스 연산을 활용함으로써 다양한 작업과 플랫폼에서 딥 러닝 모델을 효율적으로 훈련하고 배포할 수 있습니다.