"이 글은 신경망 재훈련 문제에 대해 자세히 논의하고, 발생 원인을 파악하고, 이 문제를 해결하는 방법을 제안합니다.
1. 신경망이 재교육되는 이유는 무엇입니까?
신경망을 다시 훈련시키는 이유는 무엇입니까? 사실 여기에는 몇 가지 이유가 있을 수 있습니다.
훈련 샘플의 예제 수가 샘플 외부의 문제를 해결하기에 충분하지 않습니다.
입력 데이터는 비정상 데이터 처리의 경우 매우 자주 발생하는 다양한 샘플의 출력 데이터와의 상관 정도 측면에서 고르지 않게 분포됩니다. 예를 들어, 훈련 샘플에서 출력 값에 대한 입력 매개변수 또는 여러 입력 매개변수의 상관 관계는 테스트 샘플보다 훨씬 높거나 더 나쁜 경우 서로 다른 샘플의 상관 계수의 부호가 다릅니다. 이것은 다른 샘플의 모든 매개변수에 대한 상관 계수를 계산하고 신경망을 훈련하기 전에도 쉽게 확인할 수 있습니다. 그리고 이 단점을 없애는 것도 매우 간단합니다. 즉, 훈련 예제가 무작위로 샘플로 분해됩니다.
입력 매개변수는 출력 매개변수와 관련이 없습니다. 그들 사이에는 인과 관계가 없습니다. 그들은 대표성이 아니므로 신경망을 훈련시킬 것이 없습니다. 입력과 출력 간의 상관 관계를 확인하면 상관 관계가 0에 가까운 것으로 나타납니다. 이 경우 신경망을 훈련할 다른 입력 데이터를 찾아야 합니다.
입력 데이터는 서로 높은 상관 관계가 있습니다. 이 경우 입력 데이터는 출력과 관련하여 최대 상관 관계를 유지하고 나머지 데이터와 상관 관계가 좋은 나머지 데이터는 제거해야 합니다.
오버 트레이닝에 대한 위의 모든 이유와 제거 방법은 잘 알려져 있습니다. 이전에 신경망 기술에 대한 다양한 문헌이나 기사에서 설명했습니다. "
이것은 단어의 완전한 의미의 신경망이 아니라 분류기) 따라서 재학습하지 않지만 최적화 프로그램의 매개 변수가 조정됩니다. 옵티마이저에서 신경망을 사용하는 데 방해가 되는 것은 없으며 레이어의 수와 기능의 기간이 다르며 그 수가 훨씬 더 좋습니다.
В статье анализируется применение формулы Байеса для повышения надежности торговых систем за счет использования сигналов нескольких независимых индикаторов. Теоретические расчеты проверяются с помощью простого универсального эксперта, настраиваемого для работы с произвольными индикаторами.
두 확률 변수 X와 Y는 상관 모멘트(또는 동일한 상관 계수)가 0이 아닌 경우 상관 관계라고합니다. X와 Y는 상관 모멘트가 0인 경우 상관되지 않은 양이라고 합니다. 두 개의 상관된 양도 종속적입니다. 실제로, 그 반대를 가정하면, 우리는 조건과 모순되는 μ xy =0이라고 결론을 내려야 합니다 . 상관 수량 µ xy ≠ 0에 대해. 반대 가정이 항상 성립하는 것은 아닙니다. 즉, 두 개의 양이 종속되어 있으면 상관 관계가 있을 수도 있고 상관 관계가 없을 수도 있습니다. 즉, 두 종속량의 상관 모멘트는 0이 아닐 수도 있지만 0과 같을 수도 있습니다.
따라서 두 확률 변수의 상관 관계에서 종속성이 따르지만 상관 관계는 아직 종속성에서 따르지 않습니다. 두 수량의 독립성으로 인해 비상관성이 따르지만, 비상관성으로 인해 이 양이 독립적이라는 결론을 내리는 것은 아직 불가능합니다.
Главная|Решения онлайн |Теория | Основные формулы и обозначения |Обратная связь | Корреллированность и зависимость случайных величин Две случайные величины X и У называют коррелированными, если их корреляционный момент (или, что то же, коэффициент корреляции) отличен от нуля; X и У называют некоррелированными величинами, если их...
위의 인용문은 단어의 완전한 의미에서 신경망을 구체적으로 언급하며, 그가 그의 RNN에서 해결하려고 하는 것은 이러한 문제입니다. 이것은 RNN에 대한 이야기가 아니라, Input과 Output의 상관관계가 중요하고, 그들 사이의 Input의 상관관계가 해롭다는 사실에 대한 것이고, 이것은 일반 NN과 RNN, 그리고 일반 Expert Advisors의 탓이라고 생각합니다.
도서관 : 위의 인용문은 단어의 완전한 의미에서 신경망을 구체적으로 언급하며, 그가 RNN에서 해결하려고 하는 것은 이러한 문제입니다.
네, 가능한 모든 매개변수를 정렬하고 전진과 비교하면 간단히 해결됩니다. 국회에서도 마찬가지입니다. 그것의 RNN은 같은 방식으로 재훈련됩니다. 우리는 단순히 옵티마이저에서 가장 최적의 안정적인 매개변수를 선택하고, 백테스트를 포워드와 비교합니다. 모든 것이 NN과 정확히 동일합니다. NN의 경우에만 가중치 대신 옵티마이저에서 입력과 출력을 선택하는 데 필요합니다.
RNN이 어떻게 작동하는지 설명하는 Reshetov의 기사에서 발췌.
"이 글은 신경망 재훈련 문제에 대해 자세히 논의하고, 발생 원인을 파악하고, 이 문제를 해결하는 방법을 제안합니다.
1. 신경망이 재교육되는 이유는 무엇입니까?
신경망을 다시 훈련시키는 이유는 무엇입니까? 사실 여기에는 몇 가지 이유가 있을 수 있습니다.- 훈련 샘플의 예제 수가 샘플 외부의 문제를 해결하기에 충분하지 않습니다.
- 입력 데이터는 비정상 데이터 처리의 경우 매우 자주 발생하는 다양한 샘플의 출력 데이터와의 상관 정도 측면에서 고르지 않게 분포됩니다. 예를 들어, 훈련 샘플에서 출력 값에 대한 입력 매개변수 또는 여러 입력 매개변수의 상관 관계는 테스트 샘플보다 훨씬 높거나 더 나쁜 경우 서로 다른 샘플의 상관 계수의 부호가 다릅니다. 이것은 다른 샘플의 모든 매개변수에 대한 상관 계수를 계산하고 신경망을 훈련하기 전에도 쉽게 확인할 수 있습니다. 그리고 이 단점을 없애는 것도 매우 간단합니다. 즉, 훈련 예제가 무작위로 샘플로 분해됩니다.
- 입력 매개변수는 출력 매개변수와 관련이 없습니다. 그들 사이에는 인과 관계가 없습니다. 그들은 대표성이 아니므로 신경망을 훈련시킬 것이 없습니다. 입력과 출력 간의 상관 관계를 확인하면 상관 관계가 0에 가까운 것으로 나타납니다. 이 경우 신경망을 훈련할 다른 입력 데이터를 찾아야 합니다.
- 입력 데이터는 서로 높은 상관 관계가 있습니다. 이 경우 입력 데이터는 출력과 관련하여 최대 상관 관계를 유지하고 나머지 데이터와 상관 관계가 좋은 나머지 데이터는 제거해야 합니다.
오버 트레이닝에 대한 위의 모든 이유와 제거 방법은 잘 알려져 있습니다. 이전에 신경망 기술에 대한 다양한 문헌이나 기사에서 설명했습니다. "이것은 단어의 완전한 의미의 신경망이 아니라 분류기) 따라서 재학습하지 않지만 최적화 프로그램의 매개 변수가 조정됩니다. 옵티마이저에서 신경망을 사용하는 데 방해가 되는 것은 없으며 레이어의 수와 기능의 기간이 다르며 그 수가 훨씬 더 좋습니다.
여기를 다시 읽으십시오. https://www.mql5.com/en/articles/3264에도 전체 프레임워크가 있습니다.
Bendat J., Peirsol A.
무작위 데이터의 응용 분석: Per. 영어로부터. - M.: 1989년 미르.
126페이지
예 5.4. 상관없는 종속 무작위 변수.
두 확률 변수 X와 Y는 상관 모멘트(또는 동일한 상관 계수)가 0이 아닌 경우 상관 관계라고 합니다 . X와 Y는 상관 모멘트가 0인 경우 상관되지 않은 양이라고 합니다.
두 개의 상관된 양도 종속적입니다. 실제로, 그 반대를 가정하면, 우리는 조건과 모순되는 μ xy =0 이라고 결론을 내려야 합니다 .
상관 수량 µ xy ≠ 0에 대해.
반대 가정이 항상 성립하는 것은 아닙니다. 즉, 두 개의 양이 종속되어 있으면 상관 관계가 있을 수도 있고 상관 관계가 없을 수도 있습니다. 즉, 두 종속량의 상관 모멘트는 0이 아닐 수도 있지만 0과 같을 수도 있습니다.
따라서 두 확률 변수의 상관 관계에서 종속성이 따르지만 상관 관계는 아직 종속성에서 따르지 않습니다. 두 수량의 독립성으로 인해 비상관성이 따르지만, 비상관성으로 인해 이 양이 독립적이라는 결론을 내리는 것은 아직 불가능합니다.
http://www.uchimatchast.ru/theory/stat/korell_zavis.php
1. 아무도 상관 관계를 분석하지 않습니다. 우리는 예측 변수의 선택에 대해 이야기하고 있습니다.
2. 당신은 세 페이지 앞서 내 생각을 당신 자신의 말로 반복했습니다 - " 의존성은 상관관계의 특별한 경우입니다. 두 변수가 의존한다면, 분명히 상관관계가 있습니다. 상관관계 가 있다면 반드시 의존성이 있는 것은 아닙니다."
3. 상호 엔트로피는 상관 관계와 마찬가지로 기능적 종속성의 존재 측면에서 답을 제공하지 않습니다.
여기서 제가 실수를 했습니다. 인정합니다.
확률 변수가 독립적이면 상관 관계가 없지만 비 상관 관계에서 독립이라고 결론 내릴 수는 없습니다.
두 양이 종속적이면 상관 관계가 있거나 상관 관계가 없을 수 있습니다.
이것은 단어의 완전한 의미의 신경망이 아니라 분류기) 따라서 재학습하지 않지만 최적화 프로그램의 매개 변수가 조정됩니다. 옵티마이저에서 신경망을 사용하는 데 방해가 되는 것은 없으며 레이어의 수와 기능의 기간이 다르며 그 수가 훨씬 더 좋습니다.
여기를 다시 읽으십시오. https://www.mql5.com/ru/articles/3264에도 전체 프레임워크가 있습니다.
위의 인용문은 단어의 완전한 의미에서 신경망을 구체적으로 언급하며, 그가 RNN에서 해결하려고 하는 것은 이러한 문제입니다.
네, 가능한 모든 매개변수를 정렬하고 전진과 비교하면 간단히 해결됩니다. 국회에서도 마찬가지입니다. 그것의 RNN은 같은 방식으로 재훈련됩니다. 우리는 단순히 옵티마이저에서 가장 최적의 안정적인 매개변수를 선택하고, 백테스트를 포워드와 비교합니다. 모든 것이 NN과 정확히 동일합니다. NN의 경우에만 가중치 대신 옵티마이저에서 입력과 출력을 선택하는 데 필요합니다.
두 양이 종속적이면 상관 관계가 있거나 상관 관계가 없을 수 있습니다.
다른 모든 것은 대안과 인도주의입니다.
음, 마침내 그들은 이해했습니다))) 상관 관계는 선형 종속성을 제공하고 NS는 그것과 아무 관련이 없습니다. 또한 "비선형 회귀에 대한 상관 관계"와 "비선형 상관 관계"를 혼동하지 마십시오. 상관 관계는 다음과 같습니다.
다른 모든 것은 대안과 인도주의입니다.
또 마흔다섯....
당신은 이상한 사람입니다 - 당신의 게시물 위에는 상관 관계의 존재 여부가 의존성의 존재를 전혀 의미하지 않는다는 흑백 두 개의 메시지가 흑백으로 작성되어 있으며 다시 상관 관계가 무언가를 "제공"합니다. 누구.
손이 떨어집니다...
또 마흔다섯....
당신은 이상한 사람입니다 - 당신의 게시물 위에는 상관 관계의 존재 여부가 의존성의 존재를 전혀 의미하지 않는다는 흑백 두 개의 메시지가 흑백으로 작성되어 있으며 다시 상관 관계가 무언가를 "제공"합니다. 누구.
손이 떨어집니다...
당신은 다음과 같이 말했습니다.
모든 ML은 입력 변수가 출력 변수와 상관 관계 가 있어야 한다는 사실에 기반합니다.
그렇지 않으면 모든 MO 모델에는 의미가 없습니다.
데이터 마이닝에서 모델에 대한 변수 선택의 모든 모델에서 입력 변수와 출력 변수의 최대 상관 메커니즘이 구현됩니다.
즉, 불명예를 최대한으로 망쳤습니다.
Shl "상관관계의 존재 여부는 의존성의 존재를 의미하지 않는다" - 다시 - 넌센스. 상관 관계는 LINEAR DEPENDENCE의 존재를 보여주지만 상관 관계가 표시하지 않는 비선형 관계도 있습니다.
당신은 다음과 같이 말했습니다.
즉, 불명예를 최대한으로 망쳤습니다.
Shl "상관관계의 존재 또는 부재는 의존성의 존재를 의미하지 않는다" - 다시 - 넌센스. 상관 관계는 LINEAR DEPENDENCE의 존재를 보여주지만 상관 관계가 표시하지 않는 비선형 관계도 있습니다.
누군가 과학적으로 누군가를 굴릴 때 나는 즐긴다 :))
Shl "상관관계의 존재 또는 부재는 의존성의 존재를 의미하지 않는다" - 다시 - 넌센스. 상관 관계는 LINEAR DEPENDENCE의 존재를 보여주지만 상관 관계가 표시하지 않는 비선형 관계도 있습니다.
잘못된 상관 관계의 고전적인 예가 있습니다. 미국 수영장에서 익사하는 사람들의 수는 Nicolas Cage가 뿌린 영화의 수와 직접적이고 강력한 상관 관계가 있습니다.
상관 관계가 있습니다. DEPENDENCE는 어디에 있습니까?