Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 601

 
Vladimir Perervenko:

Это ссылка на Хабр. Ссылка на библиотеку https://keras.rstudio.com/index.html.

Читайте первоисточники.

Удачи

Да, вижу - Keras is a high-level neural networks API developed with a focus on enabling fast experimentation. R? как и предполагалось, интерфейс.

Спасибо.

Первоисточники вообще-то здесь - https://keras.io/ и на GitHub - https://github.com/keras-team/keras

Keras Documentation
Keras Documentation
  • keras.io
Keras is a high-level neural networks API, written in Python and capable of running on top of TensorFlow, CNTK, or Theano. It was developed with a focus on enabling fast experimentation. Being able to go from idea to result with the least possible delay is key to doing good research. Use Keras if you need a deep learning library that: Allows...
 
Vizard_:

В первой половине 2016 года мир услышал о множестве разработок в области нейронных сетей — свои алгоритмы демонстрировали
Google (сеть-игрок в го AlphaGo), Microsoft (ряд сервисов для идентификации изображений), стартапы MSQRD, Prisma и другие...
Мало кому известно, но паралелльно велись и другие. Лучшие умы планеты обьеденились для создания уникальной системы,
которую уже можно назвать ИИ. Конечный продукт реализован "программистами от Бога", легко работает с любым количеством данных,
на любом железе и даже листочках в клеточку. Короче - Мишань, лови! Но только тссс, тихо...)))


Ну давай, надеюсь это не злопакостный вирус... Мало ли, вдруг ты туда какашку подложил. Знал я некогда одного юзера по прозвищу Клот. так он про себя говорил что "Чёрта лысого запрограмировать сможет" и был действительно хорош в програмировании....

Посмотреть даже не смог, потому что листочки в клеточку у меня от 2003 года... Видать не судьба :-(

 

это из серии "пробел, который всегда с тобой"

 
Mihail Marchukajtes:

Посмотреть даже не смог, потому что листочки в клеточку у меня от 2003 года... 

Пора покачаться.

экселька 03 это хардкор.

 
Mihail Marchukajtes:

Ну давай, надеюсь это не злопакостный вирус... Мало ли, вдруг ты туда какашку подложил. Знал я некогда одного юзера по прозвищу Клот. так он про себя говорил что "Чёрта лысого запрограмировать сможет" и был действительно хорош в програмировании....

Посмотреть даже не смог, потому что листочки в клеточку у меня от 2003 года... Видать не судьба :-(


гугл шитс, не?

но там фигня какая-то персептрон самодельный :)

 
toxic:

У меня порой возникают подозрения что в смерти Юры Решетова виноваты именно Вы, уж простите за мысли в слух, не сдержался.


Чур меня чур.... Я конечно поднакидывал ему варианты по развитию, но думаю максимум 10% из моих идей были им одобрены и то я это преувеличил наверное. Дело в том, что в МО есть два направления специалистов это разработчики (программисты) и инженера (пользователи). Угадайте в какой я категории????  

 

Так что думаю пройти обучение по яве и двигаться дальше. Чувствую что не понимаю ряд ключевых моментов в особенностях языка именно их мне и предложили узнать за 150 тыщ в течении года в университете майла.ру..... Такие дела. А остановился он на одном из заключительных этапов это отбор предикторов. Расчёт их значимости и какойто отбор. Потому как в коде два куска закаментеных. Но уж поверте специалисту в области самого процесса обучения, анализа полученной модели и её выбор (чем и ценны инженера). Могу дать оценку следующего характера.

1.JPrediction обладает способностью обобщения. Не такой как хотелось бы, но из 10 полученных моделей 50-80% будут обобщенные модели, остальные слив. Обобщенны они будут по разному и модель с хорошими показателями обучения может в будущем набрать меньше чем модель с худшими результатами обучения. 

2. Проблема выбора предикторов такова, что я подаю ей 100 из них она строит модель максимум из 9 и делает это 3 дня на 3 ядрах. Рассуждая по логике, чем больше входов тем модель более парамметрична  и тем больше она учитывает факторов и типа умнее, но на практике чем проще получается модель тем она работает лучше в будущем, чем модель с таким же результатом обучения но с большим количеством входов. Я рассматриваю модели от 5 входов и выше, потому как с меньшим количеством входов наступает эффект когда модели просто везёт, какое то время а потом нет и как правило это время не велико, так как модель слишком маленькая.

Я чего только не перепробовал с данными и даже научил JPrediction люто переобучатся, когда беру одни и те же данные, делаю их переобученными и результат обучение резко возрастает в пределах 20%. То есть был 75% стал 90% и при этом жуткий слив на ООС. 

Сейчас начинают появлят сервисы по МО, пользуюсь AWS. Там есть раздел машинного обучения и построения модели. В итоге строю там модель и у себя из одного и того же файла. На AWS, качество обученной модели в разы хуже, но и строит он её 5 минут. Да и настроек маловато.

Очень хочется запустить два одинаковых файла но в разных системах ИИ и сравнить результат в виде проторгованного участка ООС, но на этом форуме к сожалению нет специалистов у которых есть законченные системы ИИ. Здесь все ещё ищут.... увы...... Фокусник!!!! Ты нашёл???? Свою ИИ.......

 

Те, кто читает/изучает книгу

в гугл колаборатории есть поддержка GPU

и уже установленный TensorFlow

Единственная заморочка это работа с файлами через api и гугл диск


Тест производительности видеокарты:

Time (s) to convolve 32x7x7x3 filter over random 100x100x100x3 images (batch x height x width x channel). Sum of ten runs. CPU (s): 9.76737689972 GPU (s): 0.161982059479 GPU speedup over CPU: 60x

я понятия не имею как это все реализовано, но все работает :)

и тут R конечно резко всо..л сразу

 
Maxim Dmitrievsky:

Те, кто читает/изучает книгу

в гугл колаборатории есть поддержка вашего GPU

и уже установленный TensorFlow

короче, ничего не надо устанавливать вообще, просто заходим через браузер и работаем. Единственная заморочка это работа с файлами через api и гугл диск


Тест производительности моей видеокарты:

Time (s) to convolve 32x7x7x3 filter over random 100x100x100x3 images (batch x height x width x channel). Sum of ten runs. CPU (s): 9.76737689972 GPU (s): 0.161982059479 GPU speedup over CPU: 60x

я понятия не имею как это все реализовано, но все работает :)


А вот это уже полезно. Что за лаборатория такая?

 
Mihail Marchukajtes:

А вот это уже полезно. Что за лаборатория такая?


Ну ты че, Михаил

правда там виртуалка, и гпуха используется ихняя )

Причина обращения: