Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3740

 
Maxim Kuznetsov #:

ну а теперь то с хрена ?

в предыдущие разы хоть повод франкенштейнить. 

 Я тут уже ни при чём)))

Он самовыпилился перед тем, как я проснулся сегодня
 
Rorschach #:

ONNX - формат хранения нейросеток и граф расчетов.

Если подойти творчески, можно получить визуальное программирование на основе ONNX вьювера.

Rorschach #:

ONNX могло бы стать альтернативой для OpenCL. Но это пока просто идея.

Rorschach #:
Модель в формате ONNX является файлом в формате Protocol Buffers, который представляет собой формат файла сообщений, разработанный Google
Так как завезли GPU, идея стала более интересной
 

Правильно ли понимаю, что если потерял ONNX-файл с моделью, то его никак не восстановить? Даже если полностью сохранились данные, которые позволили создать этот ONNX?

Грубо говоря, две одинаковые модели не получить.

 
Две идентичные локально-развернутые LLM (запущены на своем железе) дадут совпадающие ответы на одинаковую цепочку первых вопросов?
 
fxsaber #:

Правильно ли понимаю, что если потерял ONNX-файл с моделью, то его никак не восстановить? Даже если полностью сохранились данные, которые позволили создать этот ONNX?

Грубо говоря, две одинаковые модели не получить.

Деревянные модели МО используют псевдо-случайные или реально случайное перемешивания строк, столбцов.
Обычно есть параметр Seed который задает начальное значение псевдо-случайных ГСЧ, если Seed не менялась при новых обучениях, то могут быть повторения (про все пакеты/софт не скажу, но лес на основе алглиба давал одинаковые модели. Но рекомендуется Seed задавать например от текущего времени. Другие программы МО могут например по умалчанию использовать время или использовать реально случайные ГСЧ. Их уже тысячи и кто что в своей программе закодировал - нужно читать мануал.
Про нейронки уже подзабыл, но там вроде то же где-то рандом используется. Не изменённый Seed возможно создаст копию модели.
fxsaber #:
Две идентичные локально-развернутые LLM (запущены на своем железе) дадут совпадающие ответы на одинаковую цепочку первых вопросов?
LLM не пользуюсь, поэтому не знаю. Возможно кто-то другой знает.
 
Aleksei Kuznetsov #:
Деревянные модели МО используют псевдо-случайные или реально случайное перемешивания строк, столбцов.
Обычно есть параметр Seed который задает начальное значение псевдо-случайных ГСЧ, если Seed не менялась при новых обучениях, то могут быть повторения (про все пакеты/софт не скажу, но лес на основе алглиба давал одинаковые модели. Но рекомендуется Seed задавать например от текущего времени. Другие программы МО могут например по умалчанию использовать время или использовать реально случайные ГСЧ. Их уже тысячи и кто что в своей программе закодировал - нужно читать мануал.
Про нейронки уже подзабыл, но там вроде то же где-то рандом используется. Не изменённый Seed возможно создаст копию модели. LLM не пользуюсь, поэтому не знаю. Возможно кто-то другой знает.
Если даже ГА не дает задавать Seed (от запуска к запуску меняются значения), то что уж говорить про алгоритмы обучения...
 
fxsaber #:
Если даже ГА не дает задавать Seed (от запуска к запуску меняются значения), то что уж говорить про алгоритмы обучения...
Есть у некоторых - надо проверять документацию конкретной программы.
 

Интересно, не пробовал ли кто-нибудь применить к трейдингу идеи Яна Лекуна с его "мировыми моделями" и "латентными переменными"?

Его идеи уж очень хорошо ложатся на подход с поиском состояний рынка.

 
Aleksey Nikolayev #:
идеи Яна Лекуна с его "мировыми моделями" и "латентными переменными"

Он сделал архитектуру JEPA, которую уже прикрутили к временным рядам в виде TS-JEPA. Можно брать готовую модель или самому с нуля сделать в питоне (с ИИ-чатами можно управиться наверно).

Насколько понимаю, эта штука сама, без учителя, выделяет некие состояния в рядах. Потом можно использовать информацию о состоянии в своих более простых моделях.

Основные недостатки вроде бы:

1) Сложность настройки. Нужно поймать компромисс, когда все состояния не вырождаются в одно тривиальное, но нет попыток поймать любой малейший шум.

2) Не работает с текстами, а только с числовыми векторами фиксированной длины. Наверно можно прикрутить на входе кусок какой-нибудь лёгкой LLM-модели, которая преобразут текст в вектор.

Joint Embeddings Go Temporal
  • arxiv.org
Joint Embeddings Go Temporal Abstract Self-supervised learning has seen great success recently in unsupervised representation learning, enabling breakthroughs in natural language and image processing. However, these methods often rely on autoregressive and masked modeling, which aim to reproduce masked information in the input, which can be...
 

Кстати, Ян Лекун интересен как последовательный критик идеи, что на основе LLM получится создать AGI (общий ИИ).

Собственно, главная идея JEPA - показать в каком направлении по его мнению должен развиваться AI, чтобы дойти когда-нибудь до AGI.