... 외톨이 (아마도 재능있는 프로그래머)의 개발은 아직 실용적으로 실현되지 않았습니다.
그렇습니다. 첫 번째 버전은 code.google.com에 게시됩니다. 이 프로젝트는 libvmr이라고합니다.
지금까지는 Java에서만 가능합니다. 나중에 mql5를 포함한 다른 언어로 포팅할 예정입니다.
vlad1949:
...
여기 제안이 있습니다: Reshetov의 블로그나 별도의 스레드에서 이 주제에 대해 토론하세요(그가 정리한다면).
이 기사의 주제인 "심층 신경망"에 대한 의견과 고려 사항을 여기에서 환영합니다.
딥 러닝에서도 가능합니다.
예를 들어 이미지 분류를 개선하려면 불변성을 사용하여 자동 인코더를 훈련시켜야 합니다. 예를 들어 두 가지 클래스의 이미지를 구분해야 한다고 가정해 보겠습니다. 지표 이미지가 있는 금융 상품 차트라고 가정해 보겠습니다. 첫 번째 클래스는 시세가 상승하기 전의 차트입니다. 두 번째 클래스는 시세가 하락하기 전의 차트입니다. 이 경우 자동 인코더를 학습시킬 때 첫 번째 클래스의 입력에는 변경되지 않은 이미지를, 두 번째 클래스의 입력에는 역(즉, 음의) 이미지를 제공해야 합니다.
또한 역전파 알고리즘을 사용하여 이미 훈련된 자동 인코더를 캐스케이드로 조립하고 VMR을 사용하여 이미 훈련된 뉴런을 출력에 배치할 수 있습니다.
많은 수학이 있지만 동시에 기본에서 고급에 이르기까지 주제에 대한 명확한 정의와 기본 개념이 제공됩니다.
다음은 무료 번역본에서 발췌한 몇 가지 내용입니다.
섹션 10. " 비지도 학습과 전이 학습" 에서 저자는 교사 지도 학습이 최근 딥러닝의 산업적 성공의 원동력이었지만 , 향후 발전의 핵심 요소는 교사 없이 표현 (이미지?)을 비지도 학습( ) 하는것이 될 수 있다고 생각합니다. 어떤 표현은 다른 표현보다 더 유용할 수 있다는 것입니다(예: 이미지에서 사물을 분류하거나 음성에서 음소를 분류하는 데). 거기에서 주장한 것처럼, 이를 위해서는 체계적인 방식으로 최상의 표현을 선택하기 위해 표현을 학습하는 것이 포함됩니다. 원시 데이터를 나타내는 기능을 최적화함으로써 그들의 표현и표현.
이 백서에서는 표현의 비지도학습을위한 몇 가지 기본 구성 요소 ( 자동 인코더 및 RBM )와이를 결합하여 심층 표현을 형성하기위한 매우 성공적인 레시피 (스택 형 자동 인코더 및 스택 형 RBM) 욕심 많은 계층 별 비지도 사전 교육훈련 .
그 후 , 교사와 함께 딥 네트워크를 훈련 할 때 (미세 조정)입력으로표현 된 대상을 예측하는 작업에 가장 적합한 표현을 선택하는 것을 목표로표현을훈련합니다.
하나의 과제 대신 공통된표현을 가질 수 있는 여러 개의 과제 또는 그일부가있다면 어떨까요? (이를 다중 작업 학습이라고 합니다. )
"전이 학습 및 도메인 적응 "
지식 전이와 도메인 적응은어떤조건 (즉, P1 분포)에서 학습한 것을 다른 조건(예: P2 분포)에서 일반화를 개선하는 데 사용하는 상황을 말합니다.
지식 전이의 경우,과제는 다르지만 P1 분포를 설명하는 요인 중 많은 부분이 P2를 학습하기 위해 포착해야 하는 변화와 관련이있다고 간주합니다. 이는 일반적으로지도 학습의 맥락에서 이해됩니다, 에서 입력ы가 동일 같은ы입력은 동일하지만 목표는 다를 수 있습니다.의 성격이 다를 수 있습니다, 예를 들어,첫 번째와두 번째사례에서서로 다른 시각적범주에 대해 학습하는 것입니다. 첫 번째 샘플 (P1에서 가져온 )에 훨씬 더 많은 데이터가 있는 경우, P2의예시를처리할 때 빠른 일반화에 유용한 표현을 학습하는 것이 도움이 될 수 있습니다.
예를 들어, 많은 시각적 범주에는 공통된 낮은 수준의 개념(가장자리 및시각적모양), 기하학적 변화의 효과 , 조명의 변화 등이 있습니다.
일반적으로 지식 전달, 다중 작업학습 및도메인 적응은다양한 설정이나 작업에 유용할 수 있는 특징이 있을 때 , 즉 공통된 기본 요소가 있을 때학습 표현을 통해 달성할 수 있습니다.
도메인 적응의 경우, 해결해야 할 작업은 동일하지만 입력 세트가 다른 경우를 고려합니다. 예를 들어 인터넷의 텍스트댓글과 관련된감정(긍정 또는부정)을 예측하는 경우첫 번째 샘플은 책, 비디오 및음악에 대한소비자 댓글을참조하는 반면 두 번째 세트는 텔레비전이나기타제품을 참조할 수 있습니다.
멀티태스크 학습은 일반적으로 교사와 함께 학습하는 맥락에서 고려되지만, 전이 학습이라는 보다 일반적인 개념은 비지도 학습과 강화 학습에 적용됩니다.
극단적인 형태의 전이 학습은 원샷 학습 또는 제로 샷 학습으로 , 새로운 작업의 예가하나 또는 전혀 제공되지않습니다 .
간단히 두 가지 중요한 결론이 있습니다.
사전 학습이 있는 신경망 딥러닝의 경우 개별 예측자의 중요성에 대해 이야기하는 것은 무의미합니다. 중요한 것은 세트의 내부 구조입니다. 이렇게하면 교사없이 훈련 단계에서 딥 표현 (이미지)을추출하고 교사와 함께 훈련 단계에서 당면한 작업과 얼마나 잘 일치하는지 확인할 수 있습니다.
사전 학습의 긍정적인 효과는 두 번째 단계에서 학습한 과제가 아닌 다른 과제를 해결하기 위해 신경망에 적합한 표현이 추출된다는 것입니다 .
기사를 자세히 읽어보면지그재그 신호를 제시하여 입력을 분류하도록 신경망을 훈련시킨 것을 알 수 있습니다. 그 결과 정확도 결과는 인상적이지 않습니다. 하지만 훈련된 신경망의 예측 신호를 사용하여 얻은 총 잔액의 결과는 지그재그 신호를 사용하여 얻은 결과보다 높습니다 ! 예측의 효율성을 평가하기 위해 계수 K를 도입했습니다. 이것은 차트의 한 막대당 작은 포인트의 평균 증가율입니다. 예를 들어, ZZ의 경우 17과 같고 네트워크 예측의 경우 계기에 따라 25에서 35까지입니다 (TF M30에서).
이것은 지식 전이( 전이 학습 )입니다. 하나의 데이터 세트에 대해 학습할 때 여러 가지 작업에 대한 솔루션을 얻게 됩니다.
이것은 매우 유망하고 발전하는 주제입니다.
이 글에서 시작한 작업을 마무리하기 위해 다음 게시물에서는 진화(유전) 알고리즘을 사용하여DN SAE 매개 변수를 최적화하는 예를 보여 드리겠습니다.
DN SRBM의 사용은 고려하지 않았습니다 . 제 실습에서는 안정적인 결과를 보여주지 못했기 때문입니다.
많은 수학이 있지만 동시에 기본에서 고급에 이르기까지 주제에 대한 명확한 정의와 기본 개념이 제공됩니다.
솔직히 말해서 기사를 읽었을 때 제가 받은 인상은 약간 이상하고 흐릿했지만 "모든 것을 쌓아 올리는" 접근 방식으로 썼습니다. 그런 다음 링크에서 책을 읽었습니다. 아아,이 작품에 제시된 거의 모든 것은 누군가가 새롭고 놀라운 것으로 제시 한 오랫동안 씹은 아이디어입니다. 그리고 이제 제 안에있는 수학자와 연구 엔지니어는이 주제는 주 예산에서 돈을 짜내도록 설계되었습니다.
그건 그렇고, 책에는 수학이 없습니다 (일부는 교과서에서 복사하지 않은 자체 수학). 공식의 형태로만 일부 주문.... 나는 적어도이 방향으로 정말 새로운 아이디어가 나타날 때까지 일반적인 과학적 전망을 보지 못합니다. 그러나 이것은 우선 실용적인 마술이 아니라 이론적 연구 (아무도하지 않는)가 필요합니다. 지금까지 사람들은 자신이 원하는 것을 정말로 이해하지 못하는 것 같습니다.
또 다른 장점은 응용 분야의 샘플이 포함 된 오픈 리포지토리가 있고 누구나 쉽게 이론적 가설을 반증 할 수있는 R 또는 Weka와 같은 기성 연구 패키지가 있기 때문에이 모든 이론을 즉시 반증 할 수 있다는 것입니다.
이론만 있을 때 기계 학습이 짧은 바지에서 성장했지만 알고리즘의 일반화 가능성 분야에서 실질적인 결과는 주각 위에 있지 않은 것은 문제가 부족합니다. 계산 리소스가 일반적으로 사용 가능해지자마자 응용 과학자들은 이론의 괴짜들을 현장에서 밀어냈습니다.
어디에서 동의하지 않습니까? 응용 과학자들이 괴짜들을 대체하는 것은 당연히 좋은 일입니다. 또한 계산 자원의 가용성으로 인해 이전에는 이론적으로 생각해야 했던 많은 문제를 해결할 수 있게 되었습니다. 하지만 그렇다고 해서 컴퓨팅 리소스가 모든 문제를 해결해 주는 것은 아닙니다. 광범위한 방법은 영원하지 않으며, 그 가능성은 이미 한계에 다다르고 있습니다. 따라서 조만간 우리는 다시 식물학으로 돌아가야 할 것입니다.
vlad1949:
... 외톨이 (아마도 재능있는 프로그래머)의 개발은 아직 실용적으로 실현되지 않았습니다.
그렇습니다. 첫 번째 버전은 code.google.com에 게시됩니다. 이 프로젝트는 libvmr이라고합니다.
지금까지는 Java에서만 가능합니다. 나중에 mql5를 포함한 다른 언어로 포팅할 예정입니다.
vlad1949:
...
여기 제안이 있습니다: Reshetov의 블로그나 별도의 스레드에서 이 주제에 대해 토론하세요(그가 정리한다면).
이 기사의 주제인 "심층 신경망"에 대한 의견과 고려 사항을 여기에서 환영합니다.
딥 러닝에서도 가능합니다.
예를 들어 이미지 분류를 개선하려면 불변성을 사용하여 자동 인코더를 훈련시켜야 합니다. 예를 들어 두 가지 클래스의 이미지를 구분해야 한다고 가정해 보겠습니다. 지표 이미지가 있는 금융 상품 차트라고 가정해 보겠습니다. 첫 번째 클래스는 시세가 상승하기 전의 차트입니다. 두 번째 클래스는 시세가 하락하기 전의 차트입니다. 이 경우 자동 인코더를 학습시킬 때 첫 번째 클래스의 입력에는 변경되지 않은 이미지를, 두 번째 클래스의 입력에는 역(즉, 음의) 이미지를 제공해야 합니다.
또한 역전파 알고리즘을 사용하여 이미 훈련된 자동 인코더를 캐스케이드로 조립하고 VMR을 사용하여 이미 훈련된 뉴런을 출력에 배치할 수 있습니다.
Reshetov:
튜링 테스트를 통과한 당신의 '깊은' 지성이 이미 인터넷을 지배하고 세상을 지배하고 있어야 한다는 말이 맞다면 말이죠.
솔직히 당신의 독단적인 태도에 지쳤어요.
당신이 옳다면 튜링 테스트를 통과한 당신의 '깊은' 지성은 이미 인터넷을 노예로 삼아 세상을 지배하고 있어야 합니다.
안드류카, 너무 시끄럽게 하지 마세요. 그렇지 않으면 질서 정연한 사람들이 튜링에 대해 듣고 깨어나서 세계 지배의 발작이 끝날 것입니다.
솔직히, 나는 당신이 너무 독단적 인 것에 지쳤습니다. . .
진정제를 먹으면 괜찮아 질 것입니다. 지적 노예가 된 후에는 너무 큰 소리로 분노하지 않으면 우주의 1/10을 얻을 수 있습니다.
이 글을 쓴 후 이미 "딥 러닝" 분야의 선도적인 연구자중 한 명인 요슈아 벤지오 외1인의 책 초고를 발견했습니다 ( http://www.iro.umontreal.ca/~bengioy/dlbook/).
많은 수학이 있지만 동시에 기본에서 고급에 이르기까지 주제에 대한 명확한 정의와 기본 개념이 제공됩니다.
다음은 무료 번역본에서 발췌한 몇 가지 내용입니다.
섹션 10. " 비지도 학습과 전이 학습" 에서 저자는 교사 지도 학습이 최근 딥러닝의 산업적 성공의 원동력이었지만 , 향후 발전의 핵심 요소는 교사 없이 표현 (이미지?)을 비지도 학습( ) 하는것이 될 수 있다고 생각합니다. 어떤 표현은 다른 표현보다 더 유용할 수 있다는 것입니다(예: 이미지에서 사물을 분류하거나 음성에서 음소를 분류하는 데). 거기에서 주장한 것처럼, 이를 위해서는 체계적인 방식으로 최상의 표현을 선택하기 위해 표현을 학습하는 것이 포함됩니다. 원시 데이터를 나타내는 기능을 최적화함으로써 그들의 표현и표현.
이 백서에서는 표현의 비지도학습을위한 몇 가지 기본 구성 요소 ( 자동 인코더 및 RBM )와이를 결합하여 심층 표현을 형성하기위한 매우 성공적인 레시피 (스택 형 자동 인코더 및 스택 형 RBM) 욕심 많은 계층 별 비지도 사전 교육훈련 .
그 후 , 교사와 함께 딥 네트워크를 훈련 할 때 (미세 조정)입력으로표현 된 대상을 예측하는 작업에 가장 적합한 표현을 선택하는 것을 목표로표현을훈련합니다.
하나의 과제 대신 공통된표현을 가질 수 있는 여러 개의 과제 또는 그일부가 있다면 어떨까요? (이를 다중 작업 학습이라고 합니다. )
"전이 학습 및 도메인 적응 "
지식 전이와 도메인 적응은어떤 조건 (즉, P1 분포)에서
학습한 것을 다른 조건(예: P2 분포)에서 일반화를 개선하는 데 사용하는 상황을 말합니다.
지식 전이의 경우,과제는 다르지만 P1 분포를 설명하는
요인 중 많은 부분이 P2를 학습하기 위해 포착해야 하는 변화와 관련이 있다고 간주합니다. 이는 일반적으로지도 학습의 맥락에서 이해됩니다, 에서 입력ы 가 동일 같은ы입력은 동일하지만 목표는 다를 수 있습니다.의 성격이 다를 수 있습니다, 예를 들어,첫 번째와두 번째 사례에서서로 다른 시각적범주에 대해 학습하는 것입니다. 첫 번째 샘플 (P1에서 가져온 )에 훨씬 더 많은 데이터가 있는 경우, P2의예시를처리할 때 빠른 일반화에 유용한 표현을 학습하는 것이 도움이 될 수 있습니다.
예를 들어, 많은 시각적 범주에는 공통된 낮은 수준의 개념(가장자리 및시각적모양), 기하학적 변화의 효과 , 조명의 변화 등이 있습니다.
일반적으로 지식 전달, 다중 작업학습 및도메인 적응은다양한 설정이나 작업에 유용할 수 있는 특징이 있을 때 , 즉 공통된 기본 요소가 있을 때학습 표현을 통해 달성할 수 있습니다.
도메인 적응의 경우, 해결해야 할 작업은 동일하지만 입력 세트가 다른 경우를 고려합니다. 예를 들어 인터넷의 텍스트댓글과 관련된감정(긍정 또는부정)을 예측하는 경우첫 번째 샘플은 책, 비디오 및음악에 대한소비자 댓글을참조하는 반면 두 번째 세트는 텔레비전이나기타제품을 참조할 수 있습니다.
멀티태스크 학습은 일반적으로 교사와 함께 학습하는 맥락에서 고려되지만, 전이 학습이라는 보다 일반적인 개념은 비지도 학습과 강화 학습에 적용됩니다.
극단적인 형태의 전이 학습은 원샷 학습 또는 제로 샷 학습으로 , 새로운 작업의 예가하나 또는 전혀 제공되지않습니다 .
간단히 두 가지 중요한 결론이 있습니다.
사전 학습이 있는 신경망 딥러닝의 경우 개별 예측자의 중요성에 대해 이야기하는 것은 무의미합니다. 중요한 것은 세트의 내부 구조입니다. 이렇게하면 교사없이 훈련 단계에서 딥 표현 (이미지)을추출하고 교사와 함께 훈련 단계에서 당면한 작업과 얼마나 잘 일치하는지 확인할 수 있습니다.
사전 학습의 긍정적인 효과는 두 번째 단계에서 학습한 과제가 아닌 다른 과제를 해결하기 위해 신경망에 적합한 표현이 추출된다는 것입니다 .
기사를 자세히 읽어보면지그재그 신호를 제시하여 입력을 분류하도록 신경망을 훈련시킨 것을 알 수 있습니다. 그 결과 정확도 결과는 인상적이지 않습니다. 하지만 훈련된 신경망의 예측 신호를 사용하여 얻은 총 잔액의 결과는 지그재그 신호를 사용하여 얻은 결과보다 높습니다 ! 예측의 효율성을 평가하기 위해 계수 K를 도입했습니다. 이것은 차트의 한 막대당 작은 포인트의 평균 증가율입니다. 예를 들어, ZZ의 경우 17과 같고 네트워크 예측의 경우 계기에 따라 25에서 35까지입니다 (TF M30에서).
이것은 지식 전이( 전이 학습 )입니다. 하나의 데이터 세트에 대해 학습할 때 여러 가지 작업에 대한 솔루션을 얻게 됩니다.
이것은 매우 유망하고 발전하는 주제입니다.
이 글에서 시작한 작업을 마무리하기 위해 다음 게시물에서는 진화(유전) 알고리즘을 사용하여DN SAE 매개 변수를 최적화하는 예를 보여 드리겠습니다.
DN SRBM의 사용은 고려하지 않았습니다 . 제 실습에서는 안정적인 결과를 보여주지 못했기 때문입니다.
성공
이 글을 쓰고 나서 이미 '딥 러닝' 분야의 선도적인 연구자중 한 명인 요슈아 벤지오 외1명의 책 초고를 접했습니다 ( http://www.iro.umontreal.ca/~bengioy/dlbook/).
많은 수학이 있지만 동시에 기본에서 고급에 이르기까지 주제에 대한 명확한 정의와 기본 개념이 제공됩니다.
솔직히 말해서 기사를 읽었을 때 제가 받은 인상은 약간 이상하고 흐릿했지만 "모든 것을 쌓아 올리는" 접근 방식으로 썼습니다. 그런 다음 링크에서 책을 읽었습니다. 아아,이 작품에 제시된 거의 모든 것은 누군가가 새롭고 놀라운 것으로 제시 한 오랫동안 씹은 아이디어입니다. 그리고 이제 제 안에있는 수학자와 연구 엔지니어는이 주제는 주 예산에서 돈을 짜내도록 설계되었습니다.
그건 그렇고, 책에는 수학이 없습니다 (일부는 교과서에서 복사하지 않은 자체 수학). 공식의 형태로만 일부 주문.... 나는 적어도이 방향으로 정말 새로운 아이디어가 나타날 때까지 일반적인 과학적 전망을 보지 못합니다. 그러나 이것은 우선 실용적인 마술이 아니라 이론적 연구 (아무도하지 않는)가 필요합니다. 지금까지 사람들은 자신이 원하는 것을 정말로 이해하지 못하는 것 같습니다.
그래서 CS의 적용 사용을 금지하고 이론적 인 괴짜들을 괴롭 히고 싶습니까?
괴짜가 없어도 가장 선명한 신호 만 자동 인코더 또는 MB를 통해 누출되고 다른 모든 것은 번져서 보이지 않게 될 것입니다.
그래서 CS 애플리케이션을 금지하고 이론적인 괴짜들을 반대하고 싶으신가요?
아니요, 물론 아닙니다. 저는 응용이든 이론이든 과학을 샤머니즘으로 대체하려는 시도에 최선을 다해 맞서 싸우고 있을 뿐입니다. 그리고 이것이 바로 약 10 년 동안 응용과 이론 모두에서 실제로 고착화 된 NS 분야에서 일어나고있는 일입니다.
과학의 문제는 무엇일까요? 누가 기계 학습에 대한 이론화를 금지할까요?
또 다른 장점은 응용 분야의 샘플이 있는 오픈 리포지토리가 있고 누구나 쉽게 이론적 가설을 반증할 수 있는 R이나 Weka와 같은 기성 연구 패키지가 있기 때문에 이 모든 이론을 즉시 반증할 수 있다는 것입니다.
이론만 있을 때 머신러닝은 짧은 바지를 입고 성장했지만 알고리즘의 일반화 가능성 분야에서 실질적인 성과가 주춧돌 위에 있지 않았다는 것이 문제입니다. 계산 리소스가 일반적으로 사용 가능해지자마자 응용 과학자들은 이론적 괴짜들을 이 분야에서 밀어냈습니다.
과학의 문제점은 무엇일까요? 누가 기계 학습에 대한 이론화를 금지할까요?
또 다른 장점은 응용 분야의 샘플이 포함 된 오픈 리포지토리가 있고 누구나 쉽게 이론적 가설을 반증 할 수있는 R 또는 Weka와 같은 기성 연구 패키지가 있기 때문에이 모든 이론을 즉시 반증 할 수 있다는 것입니다.
이론만 있을 때 기계 학습이 짧은 바지에서 성장했지만 알고리즘의 일반화 가능성 분야에서 실질적인 결과는 주각 위에 있지 않은 것은 문제가 부족합니다. 계산 리소스가 일반적으로 사용 가능해지자마자 응용 과학자들은 이론의 괴짜들을 현장에서 밀어냈습니다.
어디에서 동의하지 않습니까? 응용 과학자들이 괴짜들을 대체하는 것은 당연히 좋은 일입니다. 또한 계산 자원의 가용성으로 인해 이전에는 이론적으로 생각해야 했던 많은 문제를 해결할 수 있게 되었습니다. 하지만 그렇다고 해서 컴퓨팅 리소스가 모든 문제를 해결해 주는 것은 아닙니다. 광범위한 방법은 영원하지 않으며, 그 가능성은 이미 한계에 다다르고 있습니다. 따라서 조만간 우리는 다시 식물학으로 돌아가야 할 것입니다.