Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1033

 
Roffild:

Перед сохранением шаблона нужно было все индикаторы удалить. Может, конечно, не из-за индикатора name=main, но данные не отображаются.

И где гарантия, что стратегия прибыльна? Может это только удачный участок истории...

Похоже никто не ознакомился с моей библиотекой, потому что вопросов именно по ней нет. Все хотят получить грааль, не разбираясь в средствах его нахождения.

Запись main есть во всех темплейтах,  она не мешает, а данные там только графические объекты - стрелки, синие - BUY, красные - SELL.

Открываете график EURUSD H1 и загружаете файл (меню - Charts\Template\Load Template...) проверяете в контекстном меню Objects List.


А грааль никто от вас не просит, просто решить задачку и подтвердить на деле свои слова и работоспособность библиотеки.

 
Aleksey Terentev:
Если интересоваться передовыми архитектурами нейросетей, приходят очень интересные идеи. Конечно, более детально сложно вникнуть, нужен опыт с фреймворками для диплернинг, да и вообще понимание векторной математики.
Но оно того стоит.
Применительно рынка, мне пока особо нечего показать, рынок-**инок) Много на него времени нужно.
Заходите к нам в дискорд, у нас там тихо и уютно) Распишу и покажу на примерах, как готовить глубокие сети.

не надо его, он весь мозг про...т

 
Aleksey Terentev:
Если интересоваться передовыми архитектурами нейросетей, приходят очень интересные идеи. Конечно, более детально сложно вникнуть, нужен опыт с фреймворками для диплернинг, да и вообще понимание векторной математики.
Но оно того стоит.
Применительно рынка, мне пока особо нечего показать, рынок-**инок) Много на него времени нужно.
Заходите к нам в дискорд, у нас там тихо и уютно) Распишу и покажу на примерах, как готовить глубокие сети.

я общаюсь на форуме и не поддерживаю секты

)

 
Roffild:

Я программист, а не телепат. Появятся вопросы - дам ответы...

Ответ: 42 :D

меня интересует концепция почему это должно работать, а не что к чему коннектится и какая скорость

теоретическое объяснение подхода, по коду я этого не осознал а ставить для этого яву и спарк и проч., что бы просто понять - так себе удовольствие

т.е. как вы видите МО и как с ним работаете, глубина вашего понимания так сказать

если ответите 43 то больше спрашивать не буду :)

 

Часть моей библиотеки, которая на MQL5, напрямую не связана с Apache Spark. Есть отдельный модуль на Java, который конвертирует данные для использования в Spark. А этот модуль надо бы на Python портировать.

Apache Spark - система распределённой обработки больших данных + модуль для Случайных Лесов. Может обрабатывать данные на 1000 серверах (в Файсбуке на такой порог наткнулись).

Большие данные - когда обработка файла не помещается в оперативную память.

Дано: 800 предикторов за 2 года в 5 Гб.

Задача: Использовать несколько дешёвых серверов Амазона для создания 250 деревьев за 1-2 часа.

Решение: AWS EMR + Apache Spark.

Есть вариант решения этой задачи без использования Spark?

 

Apache Spark позволяет забыть о нехватке оперативной памяти.

Я создавал Случайный Лес из 500 деревьев с 7000 предикторов и 30 Гб данными. Амазон работал 15 часов на двух серверах с 16 CPU.

 
Roffild:

Apache Spark позволяет забыть о нехватке оперативной памяти.

Я создавал Случайный Лес из 500 деревьев с 7000 предикторов и 30 Гб данными. Амазон работал 15 часов на двух серверах с 16 CPU.

А смысл 7000 предикторов в случайном лесу? Все равно переобучается. Взял порядка 30-40 предикторов и обучил лес. Потом каждый прогнал по отдельности и таким методом отобрал-оставил 4 предиктора.

Тот лес, что обучался на четырех предикторах получается немного лучше чем с 30-40, но не намного. Котировки в особенности forex имеют более случайный тип данных и выжать получается где-то порядка +5%(предсказать 55% правильно) к искомому классу по отношению к отрицательному.

Может и можно конечно, каким-либо образом выделить составляющую из ценового ряда, которая лучше разделит классы, но мне пока это не удалось.

То есть к чему это я, что не нужно плодить предикторы. Смысла от этого по моему мало, только лес еще быстрее переобучится.

 
Roffild:

Apache Spark позволяет забыть о нехватке оперативной памяти.

Я создавал Случайный Лес из 500 деревьев с 7000 предикторов и 30 Гб данными. Амазон работал 15 часов на двух серверах с 16 CPU.

решили впихнуть невпихуемое и намножить предикторов безо всякого смысла

откуда вы наплодили столько предикторов? какой импортанс у них? там 1/3 лес не включил в обучающее множество, а 95% имеют низкий импортанс. И какой отклик теперь система имеет с таким кол-вом предикторов, 3 часа на 1 прогноз? )
 
Maxim Dmitrievsky:

решили впихнуть невпихуемое и намножить предикторов безо всякого смысла

откуда вы наплодили столько предикторов? какой импортанс у них? там 1/3 лес не включил в обучающее множество, а 95% имеют низкий импортанс. И какой отклик теперь система имеет с таким кол-вом предикторов, 3 часа на 1 прогноз? )

Пока не построишь - не узнаешь...

Сам результат: такое  возможно с Apache Spark

Сейчас больше 1000 предикторов не делаю. Но меньше 100 предикторов считаю недостаточным количеством.

 
Roffild:

Пока не построишь - не узнаешь...

Сам результат: такое  возможно с Apache Spark

Сейчас больше 1000 предикторов не делаю. Но меньше 100 предикторов считаю недостаточным количеством.

вы намеренно игнорируете вопросы?

повтор: откуда столько предикторов?

Причина обращения: