베이지안 회귀 - 이 알고리즘을 사용하여 Expert Advisor를 만든 사람이 있습니까? - 페이지 28

 

분기 주제: Bayes, mql

베이즈 공식

선형 의존성 y=ax+b;

정규분포의 공식입니다.(원칙적으로 다른 분포를 취할 수 있습니다.)

공식을 다시 쓰자

P(a,b|x,y)=P(x,y|a,b)*P(a)*P(b)/P(x,y); (하나)

또한 내가 이해하는 한 및 b의 가능한 모든 조합을 거쳐야 합니다. 공식 (1)에 따라 최대 확률을 제공하고 원하는 계수가 될 것 및 b.

 
Yuri Evseenkov :

분기 주제: Bayes, mql

베이즈 공식

선형 의존성 y=ax+b;

정규분포의 공식입니다.(원칙적으로 다른 분포를 취할 수 있습니다.)

공식을 다시 쓰자

P(a,b|x,y)=P(x,y|a,b)*P(a)*P(b)/P(x,y); (하나)

또한 내가 이해하는 한 및 b의 가능한 모든 조합을 거쳐야 합니다. 공식 (1)에 따라 최대 확률을 제공하고 원하는 계수가 될 것 및 b.

전혀 그렇지 않다는 의혹도 있다.
 
Dmitry Fedoseev :
전혀 그렇지 않다는 의혹도 있다.
의심을 나눠주세요.
 
Yuri Evseenkov :
의심을 나눠주세요.
아니다. 확실히 알았다면 코드로 표현했을 텐데 끝없이 수다를 떤다. 주제에 그러한 메가 로돈이 있습니다. 실제로 웅변으로 빛나게하십시오.
 
Dmitry Fedoseev :
아니다. 확실히 알았다면 코드로 표현했을 텐데 끝없이 수다를 떤다. 주제에 그러한 메가 로돈이 있습니다. 실제로 웅변으로 빛나게하십시오.
불쌍해. 모든 세부 사항보다 주제에 대한 귀하의 의견. 그리고 유능한 동지들에 대한 주제는 나에게 매우 흥미롭지 만 "숲"에서 길을 잃는 것이 두렵습니다.
 
Yuri Evseenkov :

분기 주제: Bayes, mql

베이즈 공식

선형 의존성 y=ax+b;

정규분포의 공식입니다.(원칙적으로 다른 분포를 취할 수 있습니다.)

공식을 다시 쓰자

P(a,b|x,y)=P(x,y|a,b)*P(a)*P(b)/P(x,y); (하나)

또한 내가 이해하는 한 및 b의 가능한 모든 조합을 거쳐야 합니다. 공식 (1)에 따라 최대 확률을 제공하고 원하는 계수가 될 것 및 b.

올바른 방향으로 생각하고 계신 것 같습니다. 이미 잊어버리기 시작했지만 설명은 이렇습니다.

시계열(원하는 경우 가격), Y = {y[1], y[2], ..., y[n]}이 있다고 가정해 보겠습니다. 또한 알려지지 않은 모델 매개변수 W={w[1], w[2], ... , w[m]}도 있습니다. 이 모델이 회귀라고 가정합니다. 즉,

y[i] = SUM_j w[j]*f(X) + e[i]

여기서 f()는 근사 함수(예: 다항식), X는 입력, e[]는 오류입니다.

최대우도 정리를 사용하여 모델 W의 매개변수를 찾습니다.

W = 인수 최대 ln(P(W|Y))

이제 Bayes의 정리를 적용합니다.

P(W|Y) = P(Y|W)*P(W)/P(Y)

P(Y)로 나누는 것은 무시할 수 있는 정규화입니다. 우리는 얻는다

(1) W = argmax {ln(P(W|Y))} ~ argmax {ln(P(Y|W)) + ln(P(W))} ~ argmin {-ln(P(Y|W) ) -ln(P(W))}

매개변수 W가 주어지면 X의 확률인 P(Y|W)는 다음과 같이 계산할 수 있습니다.

P(Y|W) = P(SUM_j w[j]*f(X) + e[i] | W) = P(E)

오류가 정규 분포를 따르고 서로 독립적인 경우

(2) P(Y|W) = P(E) ~ exp(-SUM{e[i]^2}/(2*sigma^2))

(2)를 (1)에 대입하고 다음을 얻습니다.

W ~ argmin {-ln(P(Y|W)) - ln(P(W))} ~ argmin SUM{e[i]^2} - ln(P(W))

P(W)는 일반적으로 1이지만 Laplacian 분포를 선택할 수 있습니다.

P(W) ~ exp(-람다*||W||_1)

얻다

W ~ argmin SUM{e[i]^2} - ln(P(W)) ~ argmin SUMChe[i]^2 + 람다*||W||_1

요약하면, 가우스 오류가 있는 시리즈를 회귀하기 위해 최대 가능성과 베이즈 정리를 적용하면 람다*... 제어 항이 있거나 없는 최소 제곱 방법이 생성됩니다. 수학은 어렵지만 결과는 간단합니다. 오류의 정규 분포가 마음에 들지 않으면 다른 것으로 대체합니다(예: Laplacian). 다음을 얻습니다.

W ~ argmin SUM|e[i]| + 람다*||W||_1

슈퍼 가우스로 변경할 수도 있습니다.

W ~ argmin SUM|e[i]|^p + 람다*||W||_1

그건 그렇고, 여기에 쓰여진 형태의 조절 첨가제는 최소 자승법을 희소 코딩 방법으로 바꿉니다. 이것이 없으면 이것은 W에 대해 미분하고 0과 동일하게 하여 해결되는 고전적인 선형 회귀 입니다.

 
Vladimir :

올바른 방향으로 생각하고 계신 것 같습니다. 이미 잊어버리기 시작했지만 설명은 이렇습니다.

시계열(원하는 경우 가격), Y = {y[1], y[2], ..., y[n]}이 있다고 가정해 보겠습니다. 또한 알려지지 않은 모델 매개변수 W={w[1], w[2], ... , w[m]}도 있습니다. 이 모델이 회귀라고 가정합니다. 즉,

y[i] = SUM_j w[j]*f(X) + e[i]

여기서 f()는 근사 함수(예: 다항식), X는 입력, e[]는 오류입니다.

최대우도 정리를 사용하여 모델 W의 매개변수를 찾습니다.

W = 인수 최대 ln(P(W|Y))

이제 Bayes의 정리를 적용합니다.

P(W|Y) = P(Y|W)*P(W)/P(Y)

P(Y)로 나누는 것은 무시할 수 있는 정규화입니다. 우리는 얻는다

(1) W = argmax {ln(P(W|Y))} ~ argmax {ln(P(Y|W)) + ln(P(W))} ~ argmin {-ln(P(Y|W) ) -ln(P(W))}

매개변수 W가 주어지면 X의 확률인 P(Y|W)는 다음과 같이 계산할 수 있습니다.

P(Y|W) = P(SUM_j w[j]*f(X) + e[i] | W) = P(E)

오류가 정규 분포를 따르고 서로 독립적인 경우

(2) P(Y|W) = P(E) ~ exp(-SUM{e[i]^2}/(2*sigma^2))

(2)를 (1)에 대입하고 다음을 얻습니다.

W ~ argmin {-ln(P(Y|W)) - ln(P(W))} ~ argmin SUM{e[i]^2} - ln(P(W))

P(W)는 일반적으로 1이지만 Laplacian 분포를 선택할 수 있습니다.

P(W) ~ exp(-람다*||W||_1)

얻다

W ~ argmin SUM{e[i]^2} - ln(P(W)) ~ argmin SUMChe[i]^2 + 람다*||W||_1

요약하면, 가우스 오류가 있는 시리즈를 회귀하기 위해 최대 가능성과 베이즈 정리를 적용하면 람다*... 제어 항이 있거나 없는 최소 제곱 방법이 생성됩니다. 수학은 어렵지만 결과는 간단합니다. 오류의 정규 분포가 마음에 들지 않으면 다른 것으로 대체합니다(예: Laplacian). 다음을 얻습니다.

W ~ argmin SUM|e[i]| + 람다*||W||_1

슈퍼 가우스로 변경할 수도 있습니다.

W ~ argmin SUM|e[i]|^p + 람다*||W||_1

그건 그렇고, 여기에 쓰여진 형태의 조절 첨가제는 최소 자승법을 희소 코딩 방법으로 바꿉니다. 이것이 없으면 이것은 W에 대해 미분하고 0과 동일하게 하여 해결되는 고전적인 선형 회귀 입니다.

고맙습니다!
 
Vladimir :

올바른 방향으로 생각하고 계신 것 같습니다. 이미 잊어버리기 시작했지만 설명은 이렇습니다.

시계열(원하는 경우 가격), Y = {y[1], y[2], ..., y[n]}이 있다고 가정해 보겠습니다. 또한 알려지지 않은 모델 매개변수 W={w[1], w[2], ... , w[m]}도 있습니다. 이 모델이 회귀라고 가정합니다. 즉,

y[i] = SUM_j w[j]*f(X) + e[i]

여기서 f()는 근사 함수(예: 다항식), X는 입력, e[]는 오류입니다.

최대우도 정리를 사용하여 모델 W의 매개변수를 찾습니다.

W = 인수 최대 ln(P(W|Y))

이제 Bayes의 정리를 적용합니다.

P(W|Y) = P(Y|W)*P(W)/P(Y)

P(Y)로 나누는 것은 무시할 수 있는 정규화입니다. 우리는 얻는다

(1) W = argmax {ln(P(W|Y))} ~ argmax {ln(P(Y|W)) + ln(P(W))} ~ argmin {-ln(P(Y|W) ) -ln(P(W))}

매개변수 W가 주어지면 X의 확률인 P(Y|W)는 다음과 같이 계산할 수 있습니다.

P(Y|W) = P(SUM_j w[j]*f(X) + e[i] | W) = P(E)

오류가 정규 분포를 따르고 서로 독립적인 경우

(2) P(Y|W) = P(E) ~ exp(-SUM{e[i]^2}/(2*sigma^2))

(2)를 (1)에 대입하고 다음을 얻습니다.

W ~ argmin {-ln(P(Y|W)) - ln(P(W))} ~ argmin SUM{e[i]^2} - ln(P(W))

P(W)는 일반적으로 1이지만 Laplacian 분포를 선택할 수 있습니다.

P(W) ~ exp(-람다*||W||_1)

얻다

W ~ argmin SUM{e[i]^2} - ln(P(W)) ~ argmin SUMChe[i]^2 + 람다*||W||_1

요약하면, 가우스 오류가 있는 시리즈를 회귀하기 위해 최대 가능성과 베이즈 정리를 적용하면 람다*... 제어 항이 있거나 없는 최소 제곱 방법이 생성됩니다. 수학은 어렵지만 결과는 간단합니다. 오류의 정규 분포가 마음에 들지 않으면 다른 것으로 대체합니다(예: Laplacian). 다음을 얻습니다.

W ~ argmin SUM|e[i]| + 람다*||W||_1

슈퍼 가우스로 변경할 수도 있습니다.

W ~ argmin SUM|e[i]|^p + 람다*||W||_1

그건 그렇고, 여기에 쓰여진 형태의 조절 첨가제는 최소 자승법을 희소 코딩 방법으로 바꿉니다. 이것이 없으면 이것은 W에 대해 미분하고 0과 동일하게 하여 해결되는 고전적인 선형 회귀 입니다.

자세한 댓글 감사합니다. 키워드와 공식이 제공됩니다. 나는 이것을 정리할 것이다.

"요약하면 가우스 오류가 있는 시리즈를 회귀하기 위해 최대 가능성과 베이즈 정리를 적용하면 람다* 수정자가 있거나 없는 최소 제곱이 됩니다. 수학은 까다롭지만 결과는 간단합니다."

확신. 거의. 다른 방법으로 계산할 때 선 y=ax+b의 계수와 b가 수치적으로 또는 거의 동일할 것이라는 의심의 그림자가 남아 있습니다. 여기서 두 가지 방법의 공식을 공들여 비교하거나 프로그램을 작성해야 합니다. 가장 중요한 것은 공식, 알고리즘 및 코드 자체가 이론에 적합해야 한다는 것입니다. 프로그램은 다음을 수행해야 합니다.

-최소 자승법으로 선형 회귀 y=ax+b의 계수 a와 b를 계산합니다.

- 매트로 정규분포를 적용할 때 Bayes의 정리에 따라 확률이 최대가 되는 계수와 b를 구합니다. ax+b와 같은 기대치

다음으로, 계수를 비교해야 하며, 상당한 차이가 있는 경우 역학에서 이들 및 b를 기반으로 하는 두 직선의 거동을 살펴봅니다. 예를 들어 시각화 모드의 전략 테스터에서.

이 프로그램은 Bayes 공식의 다른 모델, 회귀, 분포를 사용하여 추가로 사용할 수 있습니다. 정말 좋은 일이 있을 수 있습니다.

추신: 내가 가장 좋아하는 예를 기억했습니다.

"대부분 당신은 이미 베이지안 사고를 사용했을 가능성이 큽니다. 비록 당신은 그것에 대해 알지는 못했지만 논의합시다.
Neil Manson의 예: 당신은 참호에 숨어 전투 중인 군인입니다. 당신은 확실히
약 400km 떨어진 전장에 단 한 명의 적군만이 남아 있음을 알고
야드. 평범한 군인이라면 그런 식으로 당신을 때릴 수 없다는 것도 알고 있습니다.
거리. 그러나 이 병사가 저격수라면 충분히 가능하다.
들어와. 그러나 적군에는 저격수가 적기 때문에 보통 병사일 가능성이 큽니다. 너
주변을 더 잘 보기 위해 참호 밖으로 머리를 들어 올리십시오. 빵! 총알이 헬멧을 공격합니다.
그리고 당신은 참호 속으로 다시 떨어집니다.
좋아요, 당신은 생각합니다. 저격수가 드물다는 건 알아, 하지만 이 녀석은 400으로 날 쳤어
야드. 아직 일반 병사일 가능성이 높지만 저격수일 가능성은 이미
그가 그렇게 먼 거리에서 나를 때렸기 때문에 더 높이. 몇 분 후 당신은
당신은 감히 다시 밖을 내다보고 참호 위로 머리를 들어 올립니다. 빵! 두 번째 총알
당신의 헬멧에 스트라이크! 당신은 뒤로 넘어진다. 젠장, 당신은 생각합니다. 확실히 저격수입니다. 그들이 아무리 희소하다고 해도
그러나 일반 병사는 그 거리에서 연속으로 두 번 칠 수 없습니다
. 확실히
저격병. 도움을 요청하는 것이 좋습니다. 이것이 당신이 생각하는 방식에 대한 대략적인 근사치라면
비슷한 상황입니다. 축하합니다! 당신은 이미 적어도 베이지안처럼 생각하고 있습니까?
최소한 가끔."
(작가는 지정되지 않음).

 
Yuri Evseenkov :


-최소 자승법으로 선형 회귀 y=ax+b의 계수 a와 b를 계산합니다.

- 매트로 정규분포를 적용할 때 Bayes의 정리에 따라 확률이 최대가 되는 계수와 b를 구합니다. ax+b와 같은 기대치


그들은 매우 가깝고 동등할 것입니다. 문제는 금융 시장에 적용되는 계수에 대한 사전 분포를 설정하려고 시도하는 것이 의미가 있는지 여부입니다.

나는 그들이 회귀(L1, L2)에서 정규화를 사용하는 것을 종종 보았습니다. 일반 선형 회귀 보다 더 나은 성능을 보일 수 있습니다.

 
Alexey Burnakov :

그들은 매우 가깝고 동등할 것입니다. 문제는 금융 시장에 적용되는 계수에 대한 사전 분포를 설정하려고 시도하는 것이 의미가 있는지 여부입니다.

나는 그들이 회귀(L1, L2)에서 정규화를 사용하는 것을 종종 보았습니다. 일반 선형 회귀 보다 더 나은 성능을 보일 수 있습니다.

내가 이해하는 것처럼 계수 a와 b는 Bayes 공식 P(a,b|x,y)=P(x,y|a,b 에 따라 최대 확률을 제공하는 조합을 결정하기 위해 정렬되어야 합니다. )*P(a)*P(b)/P(x,y); (1) 확률 P(a) 및 P(b)는 격벽 사이클의 단계와 같을 것이며 일정한 값이 될 것입니다. 그들의 분포는 균등할 것입니다.

추신: 저는 실제 금융 시장과 외환의 성격이 크게 다르다고 생각합니다. Forex는 도박 사업이나 그 이상입니다. 일종의 멀티플레이어 온라인 컴퓨터 시뮬레이터. 따라서 Forex는 이러한 영역과 관련된 법률을 적용할 수 있습니다. 예를 들어, 정규 분포의 법칙.

사유: