혼돈에 패턴이 있을까요? 찾아보겠습니다! 특정 샘플의 예에 대한 머신 러닝. - 페이지 7

새 코멘트
 
Aleksey Vyazmikin #:
모델 중 어떤 예측 변수를 사용했는지 알려드릴 수 있습니다 - 성공적으로 학습했는지 확인할 수 있습니다(거의 의심할 여지가 없습니다).

쉼표 안에 열 번호를 넣을 수 있습니다. 비교하는 것이 흥미로울 것입니다.

 
elibrarius #:

열 번호를 쉼표 안에 넣을 수 있습니다. 비교하는 것이 흥미롭습니다.

첫 번째 열이 0인가요, 아니면 "1"인가요? :)

0 개수는 다음과 같습니다.

1,225,345,625,702,725,779,798,841,1104,1118,1268,1337,1357,1639,1737,1922,1937,2027,2043,2125,2239,2354,2474,2475,2507,2796,2816,2953,3012,3207,3228,3378,3671,3717,3726,3734,3864,3927,3982,4522,4560,5007,5029,5129,5313,5359,5548
 

여기 또 다른 변형이 있습니다. 모든 샘플에서 안정적인 결과를 얻을 수 있어 훨씬 더 마음에 듭니다.

606,1048,1060,1083,1095,1103,1108,1110,1137,1198,1347,1353,1511,1525,1526,2055,2581,2582,3078,3153,3273,3341,3676,3690,3695,3839,3919,3967,4397,4433,5052,5364,5579



잔액

 
Aleksey Vyazmikin #:

첫 번째 열이 0인가요, 아니면 "1"인가요? :)

0 개수는 다음과 같습니다.

0입니다. 내일 훈련해볼게요.
 
elibrarius #:
0입니다. 내일 훈련해 볼게요.

작동할 것입니다. 예측 변수가 거의 없습니다. 하지만 스크리닝을 위해 강제 양자 테이블을 만드는 나만의 방법을 사용한 다음 알고리즘이 그 중에서 선택했습니다.

여기서 문제는 훈련하기 전에 예측자의 속성을 정의하여 선택하는 방법을 배우는 방법입니다....

 
Aleksey Vyazmikin:

Есть ли закономерность в хаосе?


질문의 문장이 잘못되었습니다! "혼돈" 의 정의는 규칙이 외부에 있는 상태입니다....

혼돈이 아니라 시장과 비슷한 상태를 찾는 것부터 시작해야 합니다!

그리고 그것은 혼돈이 아니라 혼돈과 질서 정연한 데이터 사이의 중간 상태 일 것입니다.....

그리고 혼돈에서 패턴을 찾는 것은 어리석은 일입니다.... ("혼돈"의 정의를 읽어보세요)....

 
시장은 완전한 혼돈이지만 그 안에서 시스템을 볼 수 있어야 합니다. 더 정확히 말하자면, 시장을 시스템의 프로크루스테스적 기반 안으로 끌어들일 수 있어야 합니다.
 
webgopnik #:
시장은 완전한 혼돈이지만 그 안에서 시스템을 볼 수 있어야 합니다. 더 정확히 말하자면, 시장을 시스템이라는 프로크루스테스의 침대 안으로 몰아넣어야 합니다.

"똥을 사탕으로 만들어라!"라는 표현과 비슷합니다. - 민간의 지혜...


사실, 모든 것이 정반대입니다: 시장은 시스템입니다! 그리고 이 시스템을 이해하려면 혼돈의 뇌를 치료해야 합니다....

 
Aleksey Vyazmikin #:

예측 변수가 거의 없기 때문에 작동할 것입니다. 하지만 심사를 위해 저만의 방법을 사용하여 강제 양자 테이블을 만든 다음 알고리즘이 그 중에서 선택했습니다.

여기서 문제는 예측자의 속성을 어떻게 정의하여 학습하기 전에 예측자를 선택하는 방법을 학습할 수 있는지입니다....

그건 그렇고, 데이터는 실제로 빅 데이터라고 할 수 있습니다...

테이블에 2억 5천만 개의 셀이 있습니다.

전체 데이터 세트에서 모델 1개를 훈련하는 데 얼마나 걸리나요?

 
elibrarius #:

그런데, 귀하의 데이터는 실제로 빅 데이터에 기인할 수 있습니다.....

스프레드시트에 2억 5천만 개의 셀이 있습니다.

예, 데이터가 많고 더 추가할 계획이므로 사전 교육 선별 방법론의 개발이 필요합니다.

엘리바리우스 #:

전체 데이터 세트에서 모델 1개를 훈련하는 데 캣버스트는 얼마나 걸리나요?

이제 막 훈련 중이며, 설정, 특히 양자 테이블의 분할 수에 따라 많이 달라진다고 말씀드리고 싶습니다.

방금 비디오 카드의 기본 설정으로 훈련이 진행되는 실험을 시작했는데, 모델 평가 및 시험 샘플에 대한 테스트를 고려하지 않고 한 번 통과하면 모델의 결과 트리 수에 따라 2-3 분이 걸립니다. 이미 꽤 오래된 FX-8350 프로세서에서는 약 60% 느립니다.

속도가 꽤 괜찮다고 생각하며 일반적으로 고정 된 시드로 100 개의 모델을 훈련하여 방법의 효과를 평균화합니다.

"끝까지"훈련하면 프로그램은 최대 2 시간까지 시간을 추정합니다.

1234567891011121314...32
새 코멘트