Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3082

Новый комментарий
 
Maxim Dmitrievsky #:

Чтобы nuisance параметры превратить в ф-ии, можно использовать выходные значения RF или любого базового алгоритма, как в статье. Для совсем неодаренных: заменить значения выделенных параметров на значения функций. Тогда как линейная регрессия (или любой другой алгоритм) будет мета лернером, через который оценивается тритмент эффект. Почему и как все это работает - учите матчасть.

Для понимания достаточно начать думать головой. Но Саныч опять начнет чудить, ибо лишь бы че взболтнуть не подумамши. Саныч, твое непонимание настолько велико, что ты приводишь параметры RF в качестве какого-то доказательства, что абсолютно мимо. Я тебе 3 раза написал - забудь про RF. Последний раз говорю: изучи тему, потом разглагольствуй. Иначе такие же недоучи слепо верят тебе.

И не надо на мои посты отвечать с апломбом всезнайки (что раздражает), ибо ты ничего не знаешь, а выглядит это как бред птушника.

Все ссылки на источники приведены в статье. Вас как слепых котят тыкать в каждое слово нужно? Или вы все-таки взрослые люди?

Я обсуждал статью, а не Вашу фигу в кармане, которых, верю, там очень много в соответствии со списком литературы, на которую Вы ссылаетесь.

Если у Вас такое горячее желание продолжить обсуждение выложенной Вами статьи, то я готов продолжить, но: только статью и только мои аргументы, причем в  форме, исключающей запредельное хамство с Ваше стороны.


В статье обсуждалась RF. Других функций, которые бы вычисляли ошибку подгонки, как и саму подгонку, я не увидел. Поэтому, будьте любезны, возьмите текст статьи и приведите конкретно цитату, которая опровергает эту мысль.

[Удален]  
Lilita Bogachkova #:

У меня вопрос к знатокам машинного обучения. Если я использую данные одного символа для обучения, данные другого символа для валидации и данные третьего символа для тестирования, является ли это хорошей практикой?

Кроме того, я получаю следующие результаты тестовых данных: зеленые ячейки очень хорошие, желтые ячейки хорошие, красные ячейки средние.


А также вопрос о модификации данных для обучения модели. Я заметила, что модель с трудом находит экстремумы, в моем случае значения выше 60 и значения ниже 40. 
Поэтому я нахожу в тренировочных данных значения выше 60 и ниже 40, которые я дополнительно повторно добавляю в тренировочные данные перед их подачей в модель, поэтому вопрос: можно ли повысить точность модели за счет увеличения обучающие данные, содержащие информацию об экстремумах?

Если разницу между инструментами не сможете определить, то можно. Или насильно довести их до такого состояния, вычитая разницу. 

По второму вопросу нет скорее всего, нельзя. Будет больше ошибаться в других местах, потому что потянут градиент на себя. Но это индивидуально все.
 
Maxim Dmitrievsky #:
Если разницу между инструментами не сможете определить, то можно. Или насильно довести их до такого состояния, вычитая разницу. 

По второму вопросу нет скорее всего, нельзя. Будет больше ошибаться в других местах, потому что потянут градиент на себя.

На данный момент это действительно выглядит так.


Однако, прежде чем отказаться от этой идеи, я посмотрю, что получится в результате обучения модели, если смешать разные инструменты (символы) вместе, а затем создать данные, содержащие только экстремальные значения.

[Удален]  
Lilita Bogachkova #:

На данный момент это действительно выглядит так.


Однако, прежде чем отказаться от этой идеи, я посмотрю, что получится в результате обучения модели, если смешать разные инструменты (символы) вместе, а затем создать данные, содержащие только экстремальные значения.

Попробуйте, ну. Я не увидел разницы между одним и несколькими.
 
Maxim Dmitrievsky #:
Если разницу между инструментами не сможете определить, то можно. Или насильно довести их до такого состояния, вычитая разницу. 

Практика с различными символами для обучения, валидации и тестирования в настоящее время позволяет повысить точность прогнозирования. В качестве плюса для такой практики могу отметить, что нет ограничений на размер данных, вы можете давать столько, сколько хотите или нужно для валидации или обучения.

При тестировании с третьим символом сразу видно, способна ли модель находить универсальные закономерности, а не загоняться на узкие рыночные события, присущие конкретному символу.

[Удален]  
Lilita Bogachkova #:

Практика с различными символами для обучения, валидации и тестирования в настоящее время позволяет повысить точность прогнозирования. В качестве плюса для такой практики могу отметить, что нет ограничений на размер данных, вы можете давать столько, сколько хотите или нужно для валидации или обучения.

При тестировании с третьим символом сразу видно, способна ли модель находить универсальные закономерности, а не загоняться на узкие рыночные события.

Если смещения в данных большого нет. У разных символов разная дисперсия признаков, на них модель может удрейфовать или вообще залипнуть в одном положении. Если признаки хотя бы не меняют своих свойств от символа к символу, то можно.
 
Я хочу услышать мнение об исправлении обучающих данных путем удаления значений, повторяющихся несколько раз подряд, например значений, повторяющихся более 4 раз подряд. 
seq = remove_repeating_values(seq, 5)
Насколько я понимаю, такие равные значения имеют тенденцию достигать нескольких десятков в случае флэтового рынка. Что на мой взгляд мешает обучению модели.
[Удален]  
Lilita Bogachkova #:
Я хочу услышать мнение об исправлении обучающих данных путем удаления значений, повторяющихся несколько раз подряд, например значений, повторяющихся более 4 раз подряд.
Насколько я понимаю, такие равные значения имеют тенденцию достигать нескольких десятков в случае флэтового рынка. Что на мой взгляд мешает обучению модели.
Обычно модели рандомно выдергивают значения, а не подряд. И перемешать выборку - признак хорошего тона :) lstm можно выбросить и мешать выборки.
 
Maxim Dmitrievsky #:
Обычно модели рандомно выдерживают значения, а не подряд.

Да,

X_train, X_val, y_train, y_val = train_test_split(inputs_unique, outputs_unique, test_size=test_size_value,
                                                    random_state=random_state_value)

однако большое количество с одинаковыми значениями заставляет меня усомниться в общем качестве данных. 
Пример: seq = ([5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5]) = [5,5,5,5,5][5]; [5,5,5,5,5][5]; [5,5,5,5,5][5] ...
Не вижу смысла скармливать модели такие обучающие данные;

Поэтому я все равно отсеиваю все данные, которые не уникальны. 

inputs_unique, indices = np.unique(inputs, axis=0, return_index=True)
outputs_unique = outputs[indices]

Я могу ошибаться, но мне кажется неправильным также скармливать модели следующие данные для обучения:

[1,2,3,4,5] [5];

[1,2,3,4,5] [6];

[1,2,3,4,5] [7];

[1,2,3,4,5] [8];

...

 

Всем привет. Пробую обучать советники взятые из большого цикла статей про нейросети на этом сайте. Создаётся такое впечатление что они не обучаемы. Пробовал под статьями задавать автору вопросы, но он к сожалению не отвечает на них практически...(

Соответственно вопрос к форумчанам - скажите пожалуйста сколько нужно обучать нейронную сеть чтобы она начала давать какой-то (не рандомный) результат?

Я пробовал все советники со статей с 27 по последнюю - результат одинаковый - рандом. Проходил от 300 до 1000 эпох обучения, как указано у автора. Если советник просто с итерациями то делал от 100 000 до 20 000 000 итераций и так по 2-3 подхода, всё равно рандом.

Сколько нужно учить? Какова размера достаточно обучающую выборку (если она предварительно создаётся)?

PS: Простую инфу по нейросетям в гугле читал, в общем с нейросетями знаком. Все пишут про 100-200 эпох и должен быть уже результат (на картинках, цифрах, классификациях).

1...307530763077307830793080308130823083308430853086308730883089...3745
Новый комментарий