Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 428

 
Maxim Dmitrievsky:

Понятно, думаю на практике здесь никто и не сравнивал :) буду исктаь инфу, что бы в итоге не маяться дурью если получится что диплернинг не дает преимуществ перед лесами. А поскольку составная часть там это МЛП, то вполне может быть что не дает..

Кстати, диплернингом называется все, что имеет больше 2-х слоев, МЛП с 2-мя скрытыми слоями это тоже диплернинг. Я имел  виду глубокие сети, которые Владимир описал в статье по ссылке выше.

АБСОЛЮТНО НЕВЕРНО. Где Вы берете эту инфу?

Хоть и пишут, что самое важное предикторы, поскольку модели работают примерно одинаково.. но это теория, на практике получается, что подбор модели тоже очень важен, например компромисс между скоростью и кач-вом, потомоу что НС это, как правило, долго...

DNN Это очень быстро, проверено

Ну и связка Р - МТ5 через либу на практике ущербная по скорости и по удобству, нужен натив без левого софта или прямой коннект к Р серверу из мт5, но лучше натив. 1 раз переписать с с++ нейросеть которая нужна на мкл и все.

На чем проверяли? У меня летает

а, забыл добавить ИМХО

ИМХО основанное на практике

Удачи

 
Vladimir Perervenko:

Deep learning (also known as deep structured learning or hierarchical learning) is the application to learning tasks of artificial neural networks (ANNs) that contain more than one hidden layers. Deep learning is part of a broader family of machine learning methods based on learning data representations, as opposed to task specific algorithms. Learning can be supervised, partially supervised or unsupervised.


Насчет диплернинга с автоэнкодерами да, быстро, но я пока до них не добрался, поэтому был логичный вопрос - есть ли преимущества перед RF

п.с. в оптимизаторе тоже летает? а если в облаке?

https://en.wikipedia.org/wiki/Deep_learning

 
Maxim Dmitrievsky:

Deep learning (also known as deep structured learning or hierarchical learning) is the application to learning tasks of artificial neural networks (ANNs) that contain more than one hidden layers. Deep learning is part of a broader family of machine learning methods based on learning data representations, as opposed to task specific algorithms. Learning can be supervised, partially supervised or unsupervised.


Насчет диплернинга с автоэнкодерами да, быстро, но я пока до них не добрался, поэтому был логичный вопрос - есть ли преимущества перед RF

п.с. в оптимизаторе тоже летает? а если в облаке?

https://en.wikipedia.org/wiki/Deep_learning

1. Где Вы нашли это определение?Wiki ?? Вы серьезно? Найду как будет время ссылки на серьезные источники.

2. Главное преимущество DNN с предобучением - transfer learning. Значительно быстрей, точней и ... Использовать пакет darch

3. Любую оптимизацию нужно выполнять в R. Быстрей, прозрачней и гибче.

Удачи

 
Vladimir Perervenko:

1. Где Вы нашли это определение?Wiki ?? Вы серьезно? Найду как будет время ссылки на серьезные источники.

2. Главное преимущество DNN с предобучением - transfer learning. Значительно быстрей, точней и ... Использовать пакет darch

3. Любую оптимизацию нужно выполнять в R. Быстрей, прозрачней и гибче.

Удачи

В конце этого урока вы будете понимать принцип работы простой модели глубокого обучения, называемой “многослойный перцептрон” (MLP), а также научитесь строить ее в Keras, получая достойную степень точности на MNIST. На следующем уроке мы разберем методы решения более сложных задач по классификации изображений (таких, как CIFAR-10).
(Искусственные) нейроны

Хотя термин “глубокое обучение” можно понимать и в более широком смысле, в большинстве случаев он применяется в области (искусственных) нейронных сетей.


https://habrahabr.ru/company/wunderfund/blog/314242/

и вот


Возможно, все они врут, я не в курсе )

ИМХО, конечно же

Глубокое обучение для новичков: распознаем рукописные цифры
Глубокое обучение для новичков: распознаем рукописные цифры
  • habrahabr.ru
Представляем первую статью в серии, задуманной, чтобы помочь быстро разобраться в технологии глубокого обучения; мы будем двигаться от базовых принципов к нетривиальным особенностям с целью получить достойную производительность на двух наборах данных: MNIST (классификация рукописных цифр) и CIFAR-10 (классификация небольших изображений по...
 
 А на фига предикторы? Временной ряд и есть предиктор͵ Только НС нужно чуть глубже͵
(С мобилы)
 
Yuriy Asaulenko:
 А на фига предикторы? Временной ряд и есть предиктор͵
(С мобилы)

Забыли поставить (с)  :))
 
Maxim Dmitrievsky:

Забыли поставить (с)  :))
А кого процитировал?)
 
Yuriy Asaulenko:
А кого процитировал?)
Ну самого себя. типа знак авторства )
 
Maxim Dmitrievsky:
В конце этого урока вы будете понимать принцип работы простой модели глубокого обучения, называемой “многослойный перцептрон” (MLP), а также научитесь строить ее в Keras, получая достойную степень точности на MNIST. На следующем уроке мы разберем методы решения более сложных задач по классификации изображений (таких, как CIFAR-10).
(Искусственные) нейроны

Хотя термин “глубокое обучение” можно понимать и в более широком смысле, в большинстве случаев он применяется в области (искусственных) нейронных сетей.


https://habrahabr.ru/company/wunderfund/blog/314242/

и вот


Возможно, все они врут, я не в курсе )

ИМХО, конечно же

Да нет не врут. Ниже объяснение(из статьи которую никак не закончу :(

Введение

Основные направления исследования и применения

В настоящее время в исследовании и применении глубоких нейросетей (говорим только о многослойных полносвязных нейросетях - MLP) образовалось два основных течения, различающихся подходом к начальной инициализации весов нейронов в скрытых слоях.

Первый: Общеизвестно, что нейросети чрезвычайно чувствительны к способу начальной инициализации нейронов в скрытых слоях, особенно при  увеличении количества скрытых слоев больше 3. Первоначальный толчок к решению этой проблемы предложил профессор G.Hynton. Суть предложения состояла в том, что бы веса нейронов в скрытых слоях нейросети инициировать весами, полученными при обучении без учителя авто ассоциативных сетей составленных из RBM (ограниченная машина Больцмана) или AE (автоэнкодер). Эти Stacked RBM (SRBM) и Stacked AE (SAE) обучаются определенным образом на большом массиве не размеченных данных. Цель такого обучения - выявить скрытые структуры (представления, образы) и зависимости в данных. Инициализация нейронов MLP весами, полученными при претренинге, помещает MLP в пространство решений наиболее приближенное к оптимальному. Это дает возможность при последующей тонкой настройке (обучении) MLP применять меньшее количество размеченных данных с меньшим количеством эпох обучения. Для многих областей практического применения (особенно при обработке "больших данных) это критически важные преимущества.

Второй: Группа ученых (Бенджио и др.) основные усилия направила на разработку и исследования специфических методов начальной инициализации скрытых нейронов, специальных функций активации, методов стабилизации и обучения. Успехи в этом направлении в основном связаны с бурным развитием глубоких сверточных  и рекуррентных нейросетей (DCNN, RNN) показавших удивительные результаты в распознавании изображений, анализе и классификации текстов и переводе живой речи с одного языка на другой. Идеи и методы разработанные для этих нейросетей стали применяться и для MLP с не меньшим успехом.

Сегодня оба направления активно используются на практике. Сравнительные эксперименты [ ] этих двух подходов не выявили значительных преимуществ одного подхода над другим, но одно все таки есть. Нейросети с предобучением требуют намного меньше примеров для обучения и вычислительных ресурсов при практически равных результатах. Для некоторых областей это очень важное преимущество.

Удачи

 
Vladimir Perervenko:

Сегодня оба направления активно используются на практике. Сравнительные эксперименты [ ] этих двух подходов не выявили значительных преимуществ одного подхода над другим, но одно все таки есть. Нейросети с предобучением требуют намного меньше примеров для обучения и вычислительных ресурсов при практически равных результатах. Для некоторых областей это очень важное преимущество.

Удачи

В последнее время я вернулся к GARCH, с которыми был знаком ранее. Что меня чрезвычайно удивило после нескольких лет увлечения машинным обучением, это огромное количество публикаций по применению GARCH к финансовым временным рядам, включая валюты.


Имеется нечто подобное для глубоких сетей?

Причина обращения: