트레이딩의 머신러닝: 이론, 모델, 실전 및 알고리즘 트레이딩 - 페이지 1830

 
예브게니 듀카 :

안타까운 점은 패턴, 패턴에 대해 이야기하고 있으며 정확히 시장을 움직이는 것이 무엇인지 묻는 질문에는 말하지 않을 것입니다. 패턴에 대한 이해는 확률 형태의 네트워크 응답으로 끝나기 때문입니다.

전체 솔루션은 서로 다른 데이터에 수백 개의 네트워크를 생성하고 그 결과를 확률로 분석하는 것입니다.

하지만 시장을 이해하고 시장의 법칙을 이해한다면 어떻게 될까요?

그런 다음 하나 의 로그. 규칙 은 수백 개의 네트워크로 설명하는 것을 설명할 수 있습니다.


예를 들어. 단 세 가지 요소의 규칙과 수백 개의 네트워크보다 나쁘지 않은 거래



그렇다면 1000개의 그러한 규칙을 찾아 무작위 포레스트와 같은 규칙의 앙상블을 생성하면 어떻게 될까요? 품질을 향상? 예, 거래할 수 있습니까? 예...

그러나 각각 100개의 뉴런이 있는 1000개의 뉴런으로 구성된 앙상블을 만들려고 하면 어떻게 될까요? 당신은 100k 뉴런을 얻습니다. 첫째로 100k 뉴런에 대한 고유한 데이터 세트를 찾지 못할 것이고, 둘째로 당신은 답을 영원히 기다릴 것입니다 ....

결론 - 내 접근 방식은 "더 깨끗하고" 빠르고 확장 가능합니다. + 설명할 수 있지만 접근 방식을 개발할 수 없습니다((

안타깝게도

 
mytarmailS :

결론 - 내 접근 방식은 "더 깨끗하고" 빠르고 확장 가능하며 접근 방식을 개발할 수 없습니다((

솔직히 말해서, 당신의 접근 방식은 어떻게 든 완전히 명확하지 않지만 저에게만 가능합니다 ....

 
예브게니 듀카 :

다음은 정보를 압축하는 방법에 대한 실제 예입니다. 제가 하는 것은 아니지만 이 개념을 위해 노력합니다.

데이터 - 피셔의 붓꽃

iris[sample( 100 , 100 ),] 
    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
51            7.0          3.2            4.7          1.4 versicolor
31            4.8          3.1            1.6          0.2      setosa
79            6.0          2.9            4.5          1.5 versicolor
33            5.2          4.1            1.5          0.1      setosa
73            6.3          2.5            4.9          1.5 versicolor
80            5.7          2.6            3.5          1.0 versicolor
16            5.7          4.4            1.5          0.4      setosa
74            6.1          2.8            4.7          1.2 versicolor
30            4.7          3.2            1.6          0.2      setosa
17            5.4          3.9            1.3          0.4      setosa
25            4.8          3.4            1.9          0.2      setosa
75            6.4          2.9            4.3          1.3 versicolor
57            6.3          3.3            4.7          1.6 versicolor
65            5.6          2.9            3.6          1.3 versicolor
96            5.7          3.0            4.2          1.2 versicolor
.........
......
...
..
..


명확성을 위해 임의의 숲을 훈련하지만 이것이 신경망의 앙상블이라고 상상해보십시오.

훈련된 ....

우리는 예측 규칙을 얻습니다. 그 중 약 700개가 있습니다.

condition                                              pred        
  [ 1 ,] "X[,3]<=2.45"                                            "setosa"     
  [ 2 ,] "X[,3]>2.45 & X[,3]<=4.85"                              "versicolor"
  [ 3 ,] "X[,3]>2.45 & X[,3]<=4.85 & X[,4]<=1.6"                  "versicolor"
  [ 4 ,] "X[,4]>1.6"                                              "virginica" 
  [ 5 ,] "X[,3]>2.45 & X[,3]<=4.95 & X[,4]<=1.75"                "versicolor"
  [ 6 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
  [ 7 ,] "X[,3]>4.85 & X[,3]<=5.15 & X[,4]<=1.75 & X[,4]>1.55"    "versicolor"
  [ 8 ,] "X[,4]>1.75"                                            "virginica" 
  [ 9 ,] "X[,3]>5.15"                                            "virginica" 
 [ 10 ,] "X[,3]<=2.45"                                            "setosa"     
 [ 11 ,] "X[,3]<=4.95 & X[,3]>2.45 & X[,4]<=1.65"                "versicolor"
 [ 12 ,] "X[,4]>1.65"                                            "virginica" 
 [ 13 ,] "X[,3]>4.85 & X[,4]>1.65"                                "virginica" 
 [ 14 ,] "X[,4]>1.9"                                              "virginica" 
 [ 15 ,] "X[,3]>4.95 & X[,4]<=1.65"                              "virginica" 
 [ 16 ,] "X[,3]>4.95 & X[,4]<=1.75 & X[,4]>1.65"                  "versicolor"
 [ 17 ,] "X[,3]>4.95"                                            "virginica" 
 [ 18 ,] "X[,4]<=0.8"                                            "setosa"     
 [ 19 ,] "X[,3]<=4.75 & X[,4]>0.8"                                "versicolor"
 [ 20 ,] "X[,3]>4.75 & X[,3]<=5 & X[,4]<=1.7"                    "versicolor"
 [ 21 ,] "X[,3]>5 & X[,4]<=1.55"                                  "virginica" 
 [ 22 ,] "X[,3]>4.75 & X[,3]<=5.45 & X[,4]<=1.7 & X[,4]>1.55"    "versicolor"
 [ 23 ,] "X[,3]>5.45"                                            "virginica" 
 [ 24 ,] "X[,4]>1.7"                                              "virginica" 
 [ 25 ,] "X[,3]<=5.05 & X[,4]>0.8 & X[,4]<=1.75"                  "versicolor"
 [ 26 ,] "X[,3]>4.95"                                            "virginica" 
 [ 27 ,] "X[,2]>2.6 & X[,3]<=5.05 & X[,3]>4.95"                  "versicolor"
 [ 28 ,] "X[,4]>1.75"                                            "virginica" 
 [ 29 ,] "X[,2]>3.1 & X[,3]<=5.05 & X[,4]>0.8"                    "versicolor"
 [ 30 ,] "X[,3]>5.05 & X[,4]<=1.55"                              "virginica" 
 [ 31 ,] "X[,2]<=2.85 & X[,3]>5.05 & X[,4]<=1.7 & X[,4]>1.55"    "versicolor"
 [ 32 ,] "X[,3]>5.05"                                            "virginica" 
 [ 33 ,] "X[,3]>5.05"                                            "virginica" 
 [ 34 ,] "X[,4]<=0.75"                                            "setosa"     
 [ 35 ,] "X[,3]<=4.95 & X[,4]>0.75 & X[,4]<=1.7"                  "versicolor"
 [ 36 ,] "X[,4]>1.7"                                              "virginica" 
 [ 37 ,] "X[,2]>3.1 & X[,3]<=4.95 & X[,4]>0.75"                  "versicolor"
 [ 38 ,] "X[,3]>4.95"                                            "virginica" 
 [ 39 ,] "X[,3]<=4.95 & X[,4]>0.8 & X[,4]<=1.7"                  "versicolor"
 [ 40 ,] "X[,4]>1.7"                                              "virginica" 
 [ 41 ,] "X[,3]>4.95"                                            "virginica" 
 [ 42 ,] "X[,4]<=0.7"                                            "setosa"     
 [ 43 ,] "X[,2]<=2.25 & X[,4]<=1.25"                              "versicolor"
 [ 44 ,] "X[,2]<=2.25"                                            "versicolor"
 [ 45 ,] "X[,2]>2.25 & X[,4]>0.7 & X[,4]<=1.75"                  "versicolor"
 [ 46 ,] "X[,3]>5.3"                                              "virginica" 
 [ 47 ,] "X[,4]>1.75"                                            "virginica" 
 [ 48 ,] "X[,3]>2.45 & X[,3]<=4.95 & X[,4]<=1.75"                "versicolor"
 [ 49 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
 [ 50 ,] "X[,3]>4.95 & X[,3]<=5.45 & X[,4]<=1.75 & X[,4]>1.55"    "versicolor"
 [ 51 ,] "X[,3]>4.95"                                            "virginica" 
 [ 52 ,] "X[,4]>1.75"                                            "virginica" 
 [ 53 ,] "X[,2]>3 & X[,3]>2.45 & X[,3]<=4.85"                    "versicolor"
 [ 54 ,] "X[,4]>1.75"                                            "virginica" 
 [ 55 ,] "X[,3]<=4.85 & X[,4]>0.8 & X[,4]<=1.65"                  "versicolor"
 [ 56 ,] "X[,3]<=4.65 & X[,4]>1.65"                              "virginica" 
 [ 57 ,] "X[,4]>1.65"                                            "virginica" 
 [ 58 ,] "X[,3]<=5.3 & X[,4]<=1.75"                              "versicolor"
 [ 59 ,] "X[,2]>2.6 & X[,3]>4.85 & X[,3]<=5.3 & X[,4]<=1.75"      "versicolor"
 [ 60 ,] "X[,3]>5.3"                                              "virginica" 
 [ 61 ,] "X[,4]>1.75"                                            "virginica" 
 [ 62 ,] "X[,3]<=2.5"                                            "setosa"     
 [ 63 ,] "X[,3]>2.5 & X[,3]<=4.95 & X[,4]<=1.75"                  "versicolor"
 [ 64 ,] "X[,3]>4.95 & X[,3]<=5.05 & X[,4]<=1.65"                "virginica" 
 [ 65 ,] "X[,4]<=1.75"                                            "versicolor"
 [ 66 ,] "X[,3]<=4.75 & X[,4]>1.65"                              "virginica" 
 [ 67 ,] "X[,3]>4.75 & X[,4]<=1.75 & X[,4]>1.65"                  "versicolor"
 [ 68 ,] "X[,3]>5.35"                                            "virginica" 
 [ 69 ,] "X[,4]>1.75"                                            "virginica" 
 [ 70 ,] "X[,3]<=4.75 & X[,4]>0.7"                                "versicolor"
 [ 71 ,] "X[,4]>1.65"                                            "virginica" 
 [ 72 ,] "X[,3]>4.75 & X[,3]<=4.95 & X[,4]<=1.7"                  "versicolor"
 [ 73 ,] "X[,2]<=2.65 & X[,3]>4.95"                              "virginica" 
 [ 74 ,] "X[,2]<=2.75 & X[,2]>2.65 & X[,4]<=1.7"                  "versicolor"
 [ 75 ,] "X[,3]>4.75"                                            "virginica" 
 [ 76 ,] "X[,4]>1.7"                                              "virginica" 
 [ 77 ,] "X[,2]>3.1 & X[,3]>4.75 & X[,3]<=4.85"                  "versicolor"
 [ 78 ,] "X[,4]>1.7"                                              "virginica" 
 [ 79 ,] "X[,3]>2.45 & X[,3]<=5 & X[,4]<=1.65"                    "versicolor"
 [ 80 ,] "X[,4]<=1.65"                                            "versicolor"
 [ 81 ,] "X[,3]>5"                                                "virginica" 
 [ 82 ,] "X[,4]>1.65"                                            "virginica" 
 [ 83 ,] "X[,3]>2.45 & X[,3]<=5.05 & X[,4]<=1.75"                "versicolor"
 [ 84 ,] "X[,4]>1.75"                                            "virginica" 
 [ 85 ,] "X[,2]>3.1 & X[,3]>2.45 & X[,3]<=5.05"                  "versicolor"
 [ 86 ,] "X[,3]>5.05"                                            "virginica" 
 [ 87 ,] "X[,3]<=4.95 & X[,4]>0.8 & X[,4]<=1.65"                  "versicolor"
 [ 88 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
 [ 89 ,] "X[,3]<=5.45 & X[,4]<=1.65 & X[,4]>1.55"                "versicolor"
 [ 90 ,] "X[,3]>4.95"                                            "virginica" 
 [ 91 ,] "X[,4]>1.65"                                            "virginica" 
 [ 92 ,] "X[,4]>0.75 & X[,4]<=1.65"                              "versicolor"
 [ 93 ,] "X[,4]>1.65"                                            "virginica" 
 [ 94 ,] "X[,2]>3.1 & X[,3]<=4.85 & X[,4]>0.75"                  "versicolor"
 [ 95 ,] "X[,4]>1.65"                                            "virginica" 
 [ 96 ,] "X[,3]<=4.95 & X[,4]>0.8 & X[,4]<=1.75"                  "versicolor"
 [ 97 ,] "X[,3]<=4.95 & X[,4]<=1.75 & X[,4]>1.65"                "virginica" 
 [ 98 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
 [ 99 ,] "X[,3]>4.95 & X[,3]<=5.45 & X[,4]<=1.75 & X[,4]>1.55"    "versicolor"
..........................
..............
.......
....
..

이제 마법처럼 품질 손실을 최소화하면서 이 700가지 규칙 중 7가지를 만들 수 있는 알고리즘이 있습니다.

learner[,-c( 1 : 3 )]
     condition                                pred        
[ 1 ,] "X[,3]<=2.45"                              "setosa"     
[ 2 ,] "X[,3]<=4.95 & X[,3]>2.45 & X[,4]<=1.65" "versicolor"
[ 3 ,] "X[,3]>4.95 & X[,4]>1.7"                  "virginica" 
[ 4 ,] "X[,2]<=3.1 & X[,3]<=4.95 & X[,4]>1.65"    "virginica" 
[ 5 ,] "X[,3]>4.95 & X[,4]<=1.55"                "virginica" 
[ 6 ,] "X[,3]<=5.3 & X[,4]<=1.75"                "versicolor"
[ 7 ,] "X[,1]==X[,1]"                            "versicolor"

이것이 700가지 규칙(나무)의 전체 무작위 숲입니다.

나쁘지 않다 ? :)

 
mytarmailS :

안타까운 점은 패턴, 패턴에 대해 이야기하고 있으며 정확히 시장을 움직이는 것이 무엇인지 묻는 질문에는 말하지 않을 것입니다. 패턴에 대한 이해는 확률 형태의 네트워크 응답으로 끝나기 때문입니다.

전체 솔루션은 서로 다른 데이터에 수백 개의 네트워크를 생성하고 그 결과를 확률로 분석하는 것입니다.

네 맞아요 진짜 실용적인 결과를 위해

하지만 시장을 이해하고 시장의 법칙을 이해한다면 어떻게 될까요?

무엇 때문에? 어쩌면 전혀 불가능할지도 몰라

그런 다음 하나 의 로그. 규칙 은 수백 개의 네트워크로 설명하는 것을 설명할 수 있습니다.

환상이야, 구름 속을 날아

위에 답변...

 
예브게니 듀카 :

위에 답변...

당신은 쓰기 :

예브게니 듀카 :

2. 실제로 내 방법을 사용하면 질문의 약 1%에서만 허용 가능한 정확도로 답변을 얻을 수 있습니다. 간단히 말해서, 매 분 초마다 네트워크에 "5분 후 가격은 어디가 될까요? - 높거나 낮습니까?"라고 묻는 경우 그러면 네트워크는 100번 중 1번만 응답합니다.

Zhenya, 당신은 그 이유가 당신의 데이터에 99%의 쓰레기와 1%의 유용한 정보가 포함되어 있다고 생각하지 않습니까? 이 1%를 1-3개의 로그 규칙으로 설명할 수 있다고 생각하지 않습니까? 남겨야 하고 나머지는 버려야 한다

 
mytarmailS :

당신은 쓰기 :

예브게니 듀카 :

2. 실제로 내 방법을 사용하면 질문의 약 1%에서만 허용 가능한 정확도로 답변을 얻을 수 있습니다. 간단히 말해서, 매 분 초마다 네트워크에 "5분 후 가격은 어디가 될까요? - 높거나 낮습니까?"라고 묻는 경우 그러면 네트워크는 100번 중 1번만 응답합니다.

Zhenya, 당신은 그 이유가 당신의 데이터에 99%의 쓰레기와 1%의 유용한 정보가 포함되어 있다고 생각하지 않습니까? 이 1%를 1-3개의 로그 규칙으로 설명할 수 있다고 생각하지 않습니까? 남겨야 하고 나머지는 버려야 한다

불행히도 이것은 그렇지 않습니다.

쓰레기의 99%는 우리가 연구 하는 대상의 필수 속성입니다 . 그는 그렇게 배열되어 있으며, 그것은 그의 본성입니다.
모든 사람들은 그가 내부에서 조화를 이루고 우리가 아직 찾지 못한 이해할 수 있는 간단한 규칙을 갖고 있기를 원하지만 분명히 찾을 것입니다. 이러한 규칙은 존재하지 않습니다. 물론 철학적으로 그것들은 존재할 수 있고 실제로 존재하며 모든 것에는 이유가 있지만 그것들은 우리의 현재와 미래의 능력을 초월합니다.

이 1%는 또한 간단한 규칙으로 설명되지 않습니다. 이 1%에 도달하기 위해 네트워크는 500,000개의 예제에서 훈련됩니다. 이는 분명히 어려운 규칙입니다.

 
mytarmailS :

다음은 정보를 압축하는 방법에 대한 실제 예입니다. 제가 하는 것은 아니지만 이 개념을 위해 노력합니다.

데이터 - 피셔의 붓꽃


명확성을 위해 임의의 숲을 훈련하지만 이것이 신경망의 앙상블이라고 상상해보십시오.

훈련된 ....

우리는 예측 규칙을 얻습니다. 그 중 약 700개가 있습니다.

이제 마법처럼 품질 손실을 최소화하면서 이 700가지 규칙 중 7가지를 만들 수 있는 알고리즘이 있습니다.

700가지 규칙(나무)의 전체 무작위 숲입니다.

나쁘지 않다 ? :)

150개의 데이터 행(Iris 데이터에 150개 있음)을 설명하려면 최대 150개의 규칙이 필요합니다(모든 행이 고유한 경우).
700은 어디서 구하셨나요?

 
도서관 :

150개의 데이터 행(Iris 데이터에 150개 있음)을 설명하려면 최대 150개의 규칙이 필요합니다(모든 행이 고유한 경우).
700은 어디서 구하셨나요?

Forest 패키지가 정확히 어떻게 작동하는지 모르지만 100개의 트리로 구성할 때 400-700개의 규칙을 생성합니다. 대부분의 경우 각 분기를 규칙으로 간주합니다.

예브게니 듀카 :
불행히도 이것은 그렇지 않습니다.

쓰레기의 99%는 우리가 연구 하는 대상의 필수 속성입니다 . 그는 그렇게 배열되어 있으며, 그것은 그의 본성입니다.
모든 사람들은 그가 내부에서 조화를 이루고 우리가 아직 찾지 못한 이해할 수 있는 간단한 규칙을 갖고 있기를 원하지만 분명히 찾을 것입니다. 이러한 규칙은 존재하지 않습니다. 물론 철학적으로 그것들은 존재할 수 있고 실제로 존재하며 모든 것에는 이유가 있지만 그것들은 우리의 현재와 미래의 능력을 초월합니다.

이 1%는 또한 간단한 규칙으로 설명되지 않습니다. 이 1%에 도달하기 위해 네트워크는 500,000개의 예제에서 훈련됩니다. 이는 분명히 어려운 규칙입니다.

엑스..

 
mytarmailS :

700가지 규칙(나무)의 전체 무작위 숲입니다.

나쁘지 않다 ? :)

잎 감소의 원리는 무엇입니까? 유사성으로 그룹화하고 그룹에서 최상의 옵션을 선택합니까?

 
mytarmailS :

포리스트 패키지가 정확히 어떻게 작동하는지 모르지만 100개의 트리로 구성하면 400-700개의 규칙을 생성하며 대부분의 경우 각 분기를 규칙으로 간주합니다.

엑스..

분명히 700은 총 100그루의 나무입니다.

하나의 나무를 만들면 마법이라고 생각하는 것과 동일한 7가지 규칙을 얻게 됩니다.)

다음은 1개의 나무가 붓꽃에 대해 준 것입니다(정확도 96% 또는 150개의 예 중 6개의 오류).


 if(x[3]<1.800000){
  if(x[3]<1.000000){v[0]=1.000000;v[1]=0.000000;v[2]=0.000000;s=50;}
  else{
   if(x[2]<4.700000){
    if(x[2]<4.500000){v[0]=0.000000;v[1]=1.000000;v[2]=0.000000;s=29;}
    else{v[0]=0.000000;v[1]=0.909091;v[2]=0.090909;s=11;}}
   else{v[0]=0.000000;v[1]=0.714286;v[2]=0.285714;s=14;}}}
 else{
  if(x[0]<6.300000){v[0]=0.000000;v[1]=0.090909;v[2]=0.909091;s=11;}
  else{v[0]=0.000000;v[1]=0.000000;v[2]=1.000000;s=35;}}
 

사유: