전체 훈련 벡터에서 네트워크가 n + 1번째 샘플만 인식하도록 학습한다고 어딘가에 썼습니다. 훈련 샘플의 위치는 N epoch 동안 이동하지 않는다는 것을 이해해야 합니까? 사실, 나는 (다양한 함수가 있는 목록에서) 그렇게 했습니다. 즉, 전체 벡터에서 오류가 TEST-OUT으로 계산되었으며, 여기서 TEST는 n + 1번째 카운트였습니다. 이제 이 구현에서 TEST는 다음이자 마지막(가장 큰) 입력인 카운트다운입니다. 저것들. 전체 섹터에 걸쳐 d+1에서 n+1로 이동합니다. 여기에 오류가 있는 것은 아닐까?
길이 d 의 데이터 벡터를 NN 입력에 공급합니다. 여기서 d는 그리드 정보 입력의 수입니다(오프셋은 계산하지 않음). 네트워크의 OUTPUT에서 훈련을 위해 d + 1 count를 제출합니다. 이 단계의 가중치는 무작위입니다. 이 단계에서 각 벡터의 보정을 위한 델타를 받습니다. 그것을 기억하십시오(아무것도 수정하지 마십시오). 한 카운트를 이동하고 절차를 반복합니다. 수정 사항을 추가하고 사각형을 별도로 추가합니다. 우리는 이것을 P 번 수행합니다(가중치를 조정하지 않고). 마지막으로 모든 가중치를 처음으로 조정하는 것은 FIRST 트레이닝의 시대입니다. 이제 동일한 데이터에서 다시 시작하지만 발견된 가중치로 시작합니다. 결국 웨이트를 조정하는데, 이것이 훈련의 두 번째 시대다. 우리는 이것을 100번 합니다(예를 들어), 이것은 100개의 훈련 에포크입니다. 모든 것. 네트워크가 예측할 준비가 되었습니다. 최신 판독값이 포함된 전체 데이터 벡터를 넣고 예측을 얻습니다. 실제(예측이 아닌) 카운트가 도착한 후 가중치를 무작위화하여 네트워크를 다시 훈련시킵니다.
흥미로운 토론입니다. :) Neutron, 그런데 아직 내 질문에 대답하지 않았습니다. 초기 가중치는 어떻습니까? 네트워크를 다시 훈련시키는 방법에 대해서만 이야기했습니다. 그러나 이것이 없어도 적어도 한 번 훈련하면 네트워크에는 오류가 발생하고 심지어 유형이 있습니다. 예측과의 불일치는 음, 아주 클 수 있습니다. 저는 backprop에 대한 제 경험에 대해 이야기하고 있습니다. :) 사실, 저는 이 질문에만 관심이 있습니다. 그리드 기술의 다른 모든 것은 주된 것이 아닙니다. 네트워크 위원회, 어떻게 보십니까? 전혀 필요하지 않습니다. 어쩌면 처음에 가중치를 조정하여 교육 시작 시 그리드가 전역 최소값에 가까워서 위원회가 단순히 필요하지 않게 할 수 있습니까?
Neutron, 그건 그렇고, 당신은 여전히 내 질문에 대답하지 않았습니다. 초기 무게는 어떻습니까? 네트워크를 다시 훈련시키는 방법에 대해서만 이야기했습니다. 그러나 이것이 없어도 적어도 한 번 훈련하면 네트워크에는 오류가 발생하고 심지어 유형이 있습니다. 예측과의 불일치는 음, 아주 클 수 있습니다. 저는 backprop에 대한 제 경험에 대해 이야기하고 있습니다. :) 사실, 저는 이 질문에만 관심이 있습니다. 그리드 기술의 다른 모든 것은 주된 것이 아닙니다. 네트워크 위원회, 어떻게 보십니까? 전혀 필요하지 않습니다. 어쩌면 처음에 가중치를 조정하여 교육 시작 시 그리드가 전역 최소값에 가까워서 위원회가 단순히 필요하지 않게 할 수 있습니까?
나는 +/-1 범위의 선반에 분포된 임의의 값으로 초기 가중치를 무작위로 지정합니다. 나는 모든 계산에 이것을합니다. 각 단계에서 다시 훈련하는 그리드는 평균적으로 정확히 전역 최소값을 찾고 이것이 한 번만 훈련된 그리드와 비교하여 각 단계에서 재훈련하는 이점입니다. 그곳에서 그녀는 실수로 지역 구멍으로 올라갈 수 있으며 그녀의 모든 예측은 적절하지 않을 것입니다. 이 경우 가중치의 시작점을 최적화하는 방법을 찾는 것이 매우 중요합니다. 이 문제를 해결하지 못했습니다.
네트워크 위원회의 경우 이것은 유용하지만 리소스를 많이 사용합니다. 은닉층의 뉴런 수의 단순한 증가는 실제로 커밋이지만 기존 버전보다 훈련에 리소스 집약적이지만 통합된 비선형성으로 인해 더 강력하다는 것을 보여줄 수 있습니다. 회원을 커밋합니다. 여기서 실험이 필요합니다.
이렇게 하면 가중치가 포화 영역으로 확산되는 것을 방지하고 훈련 과정에서 가중치를 +/-5 범위로 유지합니다.
[-1; 1]이 아니라 [-0.9; 0.9]에서 정규화 할 때 간격을 압축하지만 효과는 동일하고 채도가 없습니다. 다른 얘기를 하자면, 가중치를 조정하는 과정에서 초기 가중치는 소위 계곡 기능으로 인해 단순히 최적의 값에 도달하지 못할 수 있습니다. 나는 정직하기 위해 이것과 싸운다. 그리고 당신도 이 문제를 해결하지 못했을 가능성이 높기 때문에 증거 기반이 모델링에 나쁘지 않다고 해도 역전파를 사용하여 시장에서 가치 있는 것을 얻기가 어렵습니다.
나는 +/-1 범위의 선반에 분포된 임의의 값으로 초기 가중치를 무작위로 지정합니다. 나는 모든 계산에 이것을합니다. 평균적으로 각 단계에서 다시 훈련하는 그리드는 전역 최소값을 정확히 찾아내고 이것이 한 번만 훈련된 메시와 비교하여 각 단계에서 재훈련하는 이점입니다. 그곳에서 그녀는 실수로 지역 구멍으로 올라갈 수 있으며 그녀의 모든 예측은 적절하지 않을 것입니다. 이 경우 가중치의 시작점을 최적화하는 방법을 찾는 것이 매우 중요합니다. 이 문제를 해결하지 못했습니다.
네트워크 위원회의 경우 이것은 유용하지만 리소스를 많이 사용합니다. 은닉층의 뉴런 수의 단순한 증가는 실제로 커밋이지만 기존 버전보다 훈련에 리소스 집약적이지만 통합된 비선형성으로 인해 더 강력하다는 것을 보여줄 수 있습니다. 회원을 커밋합니다. 여기서 실험이 필요합니다.
이것은 모든 라즈베리를 망칩니다. :) 그건 그렇고, 내 관찰의 결과, 그리드가 빠르게 훈련되는 가중치의 최상의 무작위화는 [-0.07; +0.07]. 이유를 모르겠습니다. :)
[-1; 1]이 아니라 [-0.9; 0.9]에서 정규화 할 때 간격을 압축하지만 효과는 동일하고 채도가 없습니다. 다른 얘기를 하자면, 가중치를 조정하는 과정에서 초기 가중치는 소위 계곡 기능으로 인해 단순히 최적의 값에 도달하지 못할 수 있습니다. 나는 정직하기 위해 이것과 싸운다. 그리고 당신도 이 문제를 해결하지 못했을 가능성이 높기 때문에 증거 기반이 모델링에 나쁘지 않다고 해도 역전파를 사용하여 시장에서 가치 있는 것을 얻기가 어렵습니다.
여기 금고 - 신이 저장합니다! 압축 절차는 복잡하지 않고 NN 훈련은 겪지 않습니다. 효과적인 방법입니다.
최적 값의 적용할 수 없는 달성에 관해서는 이것은 우리 VR의 순수한 허세입니다. 정현파를 예측하면 이해합니다! - 예, 최적의 값이 있습니다. 그리고 시장 잡담의 조건에있는 것은 무엇입니까? 이제 최적이 여기에 있고 다음 단계(당신이 예측하는)에서 그것은 거기에 있습니다 ... 그리고 당신은 온 힘을 다해 "여기"를 찾았습니다. 요컨대 정확한 위치 파악에 문제가 없고 매 단계마다 재훈련을 시켜주면 만족스럽게 해결된다.
다행히 Matkad를 사용하면 모든 단계에서 계산 프로세스를 시각화할 수 있습니다. 실험.
이것에 대해 몇 마디 말할 수 있습니까? 내 그래프는 모든 계산이 완료된 후에만 작성됩니다.
저도요:-(
관심 있는 모든 정보를 표시하고 추가 분석에 편리한 형식으로 제시할 수 있다는 의미입니다.
지금, 기다려.
길이 d 의 데이터 벡터를 NN 입력에 공급합니다. 여기서 d는 그리드 정보 입력의 수입니다(오프셋은 계산하지 않음). 네트워크의 OUTPUT에서 훈련을 위해 d + 1 count를 제출합니다. 이 단계의 가중치는 무작위입니다. 이 단계에서 각 벡터의 보정을 위한 델타를 받습니다. 그것을 기억하십시오(아무것도 수정하지 마십시오). 한 카운트를 이동하고 절차를 반복합니다. 수정 사항을 추가하고 사각형을 별도로 추가합니다. 우리는 이것을 P 번 수행합니다(가중치를 조정하지 않고). 마지막으로 모든 가중치를 처음으로 조정하는 것은 FIRST 트레이닝의 시대입니다. 이제 동일한 데이터에서 다시 시작하지만 발견된 가중치로 시작합니다. 결국 웨이트를 조정하는데, 이것이 훈련의 두 번째 시대다. 우리는 이것을 100번 합니다(예를 들어), 이것은 100개의 훈련 에포크입니다. 모든 것. 네트워크가 예측할 준비가 되었습니다. 최신 판독값이 포함된 전체 데이터 벡터를 넣고 예측을 얻습니다. 실제(예측이 아닌) 카운트가 도착한 후 가중치를 무작위화하여 네트워크를 다시 훈련시킵니다.
흥미로운 토론입니다. :) Neutron, 그런데 아직 내 질문에 대답하지 않았습니다. 초기 가중치는 어떻습니까? 네트워크를 다시 훈련시키는 방법에 대해서만 이야기했습니다. 그러나 이것이 없어도 적어도 한 번 훈련하면 네트워크에는 오류가 발생하고 심지어 유형이 있습니다. 예측과의 불일치는 음, 아주 클 수 있습니다. 저는 backprop에 대한 제 경험에 대해 이야기하고 있습니다. :) 사실, 저는 이 질문에만 관심이 있습니다. 그리드 기술의 다른 모든 것은 주된 것이 아닙니다. 네트워크 위원회, 어떻게 보십니까? 전혀 필요하지 않습니다. 어쩌면 처음에 가중치를 조정하여 교육 시작 시 그리드가 전역 최소값에 가까워서 위원회가 단순히 필요하지 않게 할 수 있습니까?
그러면 오류가 없습니다.
나는 시대에서 시대로 이동하고 그러한 "프리 로더"의 도움으로 각 무게를 누릅니다.
이렇게 하면 가중치가 포화 영역으로 확산되는 것을 방지하고 훈련 과정에서 가중치를 +/-5 범위로 유지합니다.
Neutron, 그건 그렇고, 당신은 여전히 내 질문에 대답하지 않았습니다. 초기 무게는 어떻습니까? 네트워크를 다시 훈련시키는 방법에 대해서만 이야기했습니다. 그러나 이것이 없어도 적어도 한 번 훈련하면 네트워크에는 오류가 발생하고 심지어 유형이 있습니다. 예측과의 불일치는 음, 아주 클 수 있습니다. 저는 backprop에 대한 제 경험에 대해 이야기하고 있습니다. :) 사실, 저는 이 질문에만 관심이 있습니다. 그리드 기술의 다른 모든 것은 주된 것이 아닙니다. 네트워크 위원회, 어떻게 보십니까? 전혀 필요하지 않습니다. 어쩌면 처음에 가중치를 조정하여 교육 시작 시 그리드가 전역 최소값에 가까워서 위원회가 단순히 필요하지 않게 할 수 있습니까?
나는 +/-1 범위의 선반에 분포된 임의의 값으로 초기 가중치를 무작위로 지정합니다. 나는 모든 계산에 이것을합니다. 각 단계에서 다시 훈련하는 그리드는 평균적으로 정확히 전역 최소값을 찾고 이것이 한 번만 훈련된 그리드와 비교하여 각 단계에서 재훈련하는 이점입니다. 그곳에서 그녀는 실수로 지역 구멍으로 올라갈 수 있으며 그녀의 모든 예측은 적절하지 않을 것입니다. 이 경우 가중치의 시작점을 최적화하는 방법을 찾는 것이 매우 중요합니다. 이 문제를 해결하지 못했습니다.
네트워크 위원회의 경우 이것은 유용하지만 리소스를 많이 사용합니다. 은닉층의 뉴런 수의 단순한 증가는 실제로 커밋이지만 기존 버전보다 훈련에 리소스 집약적이지만 통합된 비선형성으로 인해 더 강력하다는 것을 보여줄 수 있습니다. 회원을 커밋합니다. 여기서 실험이 필요합니다.
나는 시대에서 시대로 이동하고 그러한 "프리 로더"의 도움으로 각 무게를 누릅니다.
이렇게 하면 가중치가 포화 영역으로 확산되는 것을 방지하고 훈련 과정에서 가중치를 +/-5 범위로 유지합니다.
[-1; 1]이 아니라 [-0.9; 0.9]에서 정규화 할 때 간격을 압축하지만 효과는 동일하고 채도가 없습니다. 다른 얘기를 하자면, 가중치를 조정하는 과정에서 초기 가중치는 소위 계곡 기능으로 인해 단순히 최적의 값에 도달하지 못할 수 있습니다. 나는 정직하기 위해 이것과 싸운다. 그리고 당신도 이 문제를 해결하지 못했을 가능성이 높기 때문에 증거 기반이 모델링에 나쁘지 않다고 해도 역전파를 사용하여 시장에서 가치 있는 것을 얻기가 어렵습니다.
나는 +/-1 범위의 선반에 분포된 임의의 값으로 초기 가중치를 무작위로 지정합니다. 나는 모든 계산에 이것을합니다. 평균적으로 각 단계에서 다시 훈련하는 그리드는 전역 최소값을 정확히 찾아내고 이것이 한 번만 훈련된 메시와 비교하여 각 단계에서 재훈련하는 이점입니다. 그곳에서 그녀는 실수로 지역 구멍으로 올라갈 수 있으며 그녀의 모든 예측은 적절하지 않을 것입니다. 이 경우 가중치의 시작점을 최적화하는 방법을 찾는 것이 매우 중요합니다. 이 문제를 해결하지 못했습니다.
네트워크 위원회의 경우 이것은 유용하지만 리소스를 많이 사용합니다. 은닉층의 뉴런 수의 단순한 증가는 실제로 커밋이지만 기존 버전보다 훈련에 리소스 집약적이지만 통합된 비선형성으로 인해 더 강력하다는 것을 보여줄 수 있습니다. 회원을 커밋합니다. 여기서 실험이 필요합니다.
이것은 모든 라즈베리를 망칩니다. :) 그건 그렇고, 내 관찰의 결과, 그리드가 빠르게 훈련되는 가중치의 최상의 무작위화는 [-0.07; +0.07]. 이유를 모르겠습니다. :)
[-1; 1]이 아니라 [-0.9; 0.9]에서 정규화 할 때 간격을 압축하지만 효과는 동일하고 채도가 없습니다. 다른 얘기를 하자면, 가중치를 조정하는 과정에서 초기 가중치는 소위 계곡 기능으로 인해 단순히 최적의 값에 도달하지 못할 수 있습니다. 나는 정직하기 위해 이것과 싸운다. 그리고 당신도 이 문제를 해결하지 못했을 가능성이 높기 때문에 증거 기반이 모델링에 나쁘지 않다고 해도 역전파를 사용하여 시장에서 가치 있는 것을 얻기가 어렵습니다.
여기 금고 - 신이 저장합니다! 압축 절차는 복잡하지 않고 NN 훈련은 겪지 않습니다. 효과적인 방법입니다.
최적 값의 적용할 수 없는 달성에 관해서는 이것은 우리 VR의 순수한 허세입니다. 정현파를 예측하면 이해합니다! - 예, 최적의 값이 있습니다. 그리고 시장 잡담의 조건에있는 것은 무엇입니까? 이제 최적이 여기에 있고 다음 단계(당신이 예측하는)에서 그것은 거기에 있습니다 ... 그리고 당신은 온 힘을 다해 "여기"를 찾았습니다. 요컨대 정확한 위치 파악에 문제가 없고 매 단계마다 재훈련을 시켜주면 만족스럽게 해결된다.