Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3740

 
Aleksei Kuznetsov #:
Деревянные модели МО используют псевдо-случайные или реально случайное перемешивания строк, столбцов.
Обычно есть параметр Seed который задает начальное значение псевдо-случайных ГСЧ, если Seed не менялась при новых обучениях, то могут быть повторения (про все пакеты/софт не скажу, но лес на основе алглиба давал одинаковые модели. Но рекомендуется Seed задавать например от текущего времени. Другие программы МО могут например по умалчанию использовать время или использовать реально случайные ГСЧ. Их уже тысячи и кто что в своей программе закодировал - нужно читать мануал.
Про нейронки уже подзабыл, но там вроде то же где-то рандом используется. Не изменённый Seed возможно создаст копию модели. LLM не пользуюсь, поэтому не знаю. Возможно кто-то другой знает.
Если даже ГА не дает задавать Seed (от запуска к запуску меняются значения), то что уж говорить про алгоритмы обучения...
 
fxsaber #:
Если даже ГА не дает задавать Seed (от запуска к запуску меняются значения), то что уж говорить про алгоритмы обучения...
Есть у некоторых - надо проверять документацию конкретной программы.
 

Интересно, не пробовал ли кто-нибудь применить к трейдингу идеи Яна Лекуна с его "мировыми моделями" и "латентными переменными"?

Его идеи уж очень хорошо ложатся на подход с поиском состояний рынка.

 
Aleksey Nikolayev #:
идеи Яна Лекуна с его "мировыми моделями" и "латентными переменными"

Он сделал архитектуру JEPA, которую уже прикрутили к временным рядам в виде TS-JEPA. Можно брать готовую модель или самому с нуля сделать в питоне (с ИИ-чатами можно управиться наверно).

Насколько понимаю, эта штука сама, без учителя, выделяет некие состояния в рядах. Потом можно использовать информацию о состоянии в своих более простых моделях.

Основные недостатки вроде бы:

1) Сложность настройки. Нужно поймать компромисс, когда все состояния не вырождаются в одно тривиальное, но нет попыток поймать любой малейший шум.

2) Не работает с текстами, а только с числовыми векторами фиксированной длины. Наверно можно прикрутить на входе кусок какой-нибудь лёгкой LLM-модели, которая преобразут текст в вектор.

Joint Embeddings Go Temporal
  • arxiv.org
Joint Embeddings Go Temporal Abstract Self-supervised learning has seen great success recently in unsupervised representation learning, enabling breakthroughs in natural language and image processing. However, these methods often rely on autoregressive and masked modeling, which aim to reproduce masked information in the input, which can be...
 

Кстати, Ян Лекун интересен как последовательный критик идеи, что на основе LLM получится создать AGI (общий ИИ).

Собственно, главная идея JEPA - показать в каком направлении по его мнению должен развиваться AI, чтобы дойти когда-нибудь до AGI.

 
Интересная статья про физический ИИ (для роботов). В основном история и нынешний VLA-подход основанный на LLM. Подход Лекуна с мир-моделями только упомянут как самый свежий и перспективный, но без конкретики.
 

Чем больше вникаю в идеи Лекуна, тем больше соглашаюсь с ним, что на основе LLM не будет создано никакого AGI. Его подход внушает некоторые надежды, но здесь только время покажет.

"Intelligence is not what you know, it's what you do when you don't know." - из его лекции:


 
Aleksey Nikolayev #:

Чем больше я углубляюсь в идеи ЛеКуна, тем больше соглашаюсь с ним в том, что на основе LLM не удастся создать общую искусственную интеллигенцию (AGI). Его подход вселяет некоторую надежду, но только время покажет.

«Интеллект — это не то, что ты знаешь, а то, что ты делаешь, когда не знаешь» — из его лекции:


Очевидно.
 
Aleksey Nikolayev #:

Чем больше вникаю в идеи Лекуна, тем больше соглашаюсь с ним, что на основе LLM не будет создано никакого AGI. Его подход внушает некоторые надежды, но здесь только время покажет.

"Intelligence is not what you know, it's what you do when you don't know." - из его лекции:


оч часто мои действия опережают мысли

потом сидишь и объясняешь себе - почему так сделал, причем приходиться крепко подумать ;))))

наконец то понял, благодаря тому что постом выше перевели цитату

но я считал что это не интеллект, а интуиция

то есть действие происходит на уровне интуиции
 
Alain Verleyen #:
Очевидно.
Вполне. Не очевидно принципиальное существование путей ведущих к AGI. А если такие пути существуют, то началось ли уже движение по ним.