Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2750

 
Renat Fatkhullin #:

Обатите внимание,  что с билда 3440  мы начинаем распространять AVX версии программ: https://www.mql5.com/ru/forum/432624/page5#comment_42117241

Следующий шаг - это переписывание математического аппарата на векторные и и OpenCL функции, что дает десятиктраные ускорения без необходимости установки дополнительных библиотек типа CUDA.

Вот это действительно большой шаг вперед. Нужно переписать индикаторы и эксперты?

 
СанСаныч Фоменко #:

Не могу с этим согласиться.

Рынок меняется, причем временные интервалы изменения разные и независимые друг от друга.

Я когда-то умел писать советники, которые жили от 3 до 6 месяцев. Оптимизировал в выходные. Потом они умирали, причем в течение короткого времени вполне достаточного для слива депозита. Нго недостаточного для оптимизации. В конечном итоге положение было еще хуже: через некоторое время выяснялось, что была граница, отодвинувшись от которой невозможно было подобрать параметры. 

Есть более длительные периоды изменения рынка: 5-7 лет. Но результат такой же как и для месячных периодов. Бот умирает навсегда. В личку отправлю конкретный бот из маркета - тут нельзя.

Поэтому вся эта иде "вне выборки" - чушь собачья. Бот все равно имеет время жизни, мы не знаем сколько: 3 мес или 7 лет. Смерь бота путаем с очередной просадкой и сливаем депо.

В идеале переучивать по следующей свече. Если работаем на тиках, то на следующем тике, на Н1 то по приходу следующего часа.

Не делали ли сравнение вашего алгоритма с KNN (или какой-нибудь его модификацией)? Было бы интересно, насколько значителен выигрыш.

 
Aleksey Nikolayev #:

Не делали ли сравнение вашего алгоритма с KNN (или какой-нибудь его модификацией)? Было бы интересно, насколько значителен выигрыш.

KNN вообще из другой оперы. 


Меня интересует "предсказательная способность" а не классификация, да еще без учителя, которые бесполезны в нашем деле.

 
Vladimir Perervenko #:

Вот это действительно большой шаг вперед. Нужно переписать индикаторы и эксперты?

раз уж вы здесь, спасибо за ICA и всё-таки вопрос про feature_extraction(которую вы характеризуете, как "распознавание уникальных и значимых компонентов") -- полистала когда-то эту тему (описание для Python), да и забросила... сложилось впечатление, что используют этот extraction только  при работе с картинками и текстом-- стоит ли заморачиваться таким подходом при работе со структурированными данными (типа таблица факторов) ??... можете пару слов черкануть про суть алгоритма, чтобы понять его пользу?, просто в вашей статье как-то мельком про него... или я что-то упустила? (а то, что видела в Python как-то не вдохновляло применять feature_extraction к факторам в рынке)

по предпочтениям: или вы всё-таки решили остаться на обычном (или иерархическом, описанном вами) PCA ??

какой dimensionality_reduction вы используете сейчас?

а за статью спасибо

Глубокие нейросети (Часть III). Выбор примеров и уменьшение размерности
Глубокие нейросети (Часть III). Выбор примеров и уменьшение размерности
  • www.mql5.com
Эта статья продолжает серию публикаций о глубоких нейросетях. Рассматривается выбор примеров (удаление шумовых), уменьшение размерности входных данных и разделение набора на train/val/test в процессе подготовки данных для обучения.
 

есть существенные сомнения что NN вообще могут работать при увеличении информации. Чуть выше была ссылка на нечто бегающие между стенок и жрущее зелёное, не трогая красное. При увеличении лабиринта (роста информации) у него будет отшибать память про красное/зелёное. То есть он неплохо двигается в прежней формации, но не в новой. Пока паттерны повторяются, он более-менее работает. А идеально работает только где обучен. 

контр-тезис к тому-же NN для тех-же условий - студент может написать более эффективный алгоритм. И этот алгоритм другой студент может улучшить или привести к условиям иной_кривизны_пространства(или оптимизировать/упростить). Использование NN в данном упрощенном примере - это тупик, его результат нельзя осознанно и качественно улучшить. И это вообще общая проблема NN (и DL тоже). Этими методами можно разпозновать красное/зелёное, круглое/квадратное из набора красноватое,зеленоватое, на фоне фиолетового, в ч/б продолговатое. Решение узких специальных задач, а не вывод эквити в бесконечность

 
СанСаныч Фоменко #:

KNN вообще из другой оперы. 


Меня интересует "предсказательная способность" а не классификация, да еще без учителя, которые бесполезны в нашем деле.

Тем не менее, KNN даёт наиболее простую возможность работать с нестационарностью, если использовать его в скользящем окне. Он использует всё время один и тот же набор предикторов, что даёт возможность сравнить его с алгоритмом меняющим набор предикторов и оценить пользу от этого усложнения.

 
Alexey Burnakov #:

Ок.

Если кто-решит или хотя приблизиться к верному решению (то есть, тему будет жива), то я:

выложу правильное решение - алгоритм генерации набора данных

объясню, почему ряд других алгоритмов "Оценки и выбора предикторов" не справились

выложу свой метод, который робастно и чувствительно решает похожие задачи - выдам теорию и выложу код на R. 

Это сделано для взаимного обогащения "понималки" задач машинного обучения. 

То, что выложил я, недостаточно для того, чтобы выложить озвученное Вами? 

 
Aleksey Nikolayev #:

Тем не менее, KNN даёт наиболее простую возможность работать с нестационарностью, если использовать его в скользящем окне. Он использует всё время один и тот же набор предикторов, что даёт возможность сравнить его с алгоритмом меняющим набор предикторов и оценить пользу от этого усложнения.

Заниматься тем, что в принципе не может дать нужного результата, не вижу смысла.

 

Кто тут спрашивал про применение NN и AI в трейдинге ?

(модератед) платформа  (модератед) (модератед) (модератед) понимает описание торговых условий/правил/частей-алгоритмов на естественном языке. Конечно на английском

Вот на мой взгляд это верное направление движения и приложение усилий AI. Как в своей области Wolfram, но вольф по большей части энциклопедия

---

прямо сей момент, люди занимающиеся в принице одной темой, и долго общающиеся - не способны друг-друга понять. Без авто-транслятора или взаимоподписаного и обязательного соглашения об именования сущностей:-)

 
Aleksey Nikolayev #:

Не делали ли сравнение вашего алгоритма с KNN (или какой-нибудь его модификацией)? Было бы интересно, насколько значителен выигрыш.

СанСаныч Фоменко #:

Заниматься тем, что в принципе не может дать нужного результата, не вижу смысла.


Aleksey Nikolayev #:

Тем не менее, KNN даёт наиболее простую возможность работать с нестационарностью, если использовать его в скользящем окне. Он использует всё время один и тот же набор предикторов, что даёт возможность сравнить его с алгоритмом меняющим набор предикторов и оценить пользу от этого усложнения.

если KNN - это по сути K-means (забугорное название k-nearest-neighbors ?), то он (K-means) использует Евклидово расстояние...  "когда переменные не коррелированны  -- расстояние Махаланобиса совпадает с обычным евклидовым расстоянием"... в LDA ... ну а если коррелированы - то Mahalanobis лучше, как отметила вчера в общих чертах 
Причина обращения: