Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3397

 
где именно? я бы сказал что наоборот в начале
[Удален]  
mytarmailS #:
где именно? я бы сказал что наоборот в начале
Я про видос Алексея, твой еще не посотрел. У тебя про отбор признаков. Я его не очень люблю, потому что у меня нет много признаков :)
 
Maxim Dmitrievsky #:
потому что у меня нет много признаков :)

Так оно так и получаеться, из "много" разных путем отбора получаеться "не много" но хороших.

И чем у тебя в начале "много" больше , тем богаче и лучше получиться  "не много" но хороших в конце.

[Удален]  
mytarmailS #:

Так оно так и получаеться, из "много" разных путем отбора получаеться "не много" но хороших.

И чем у тебя в начале "много" больше , тем богаче и лучше получиться  "не много" но хороших в конце.

Делали же через всякие gmdh или как его там
Видится перспективным козул (очень тяжело придумывать алгоритмы на его основе, надо иметь буйную фантазию). И языковые модели - очень сложно их дообучать. Вот эти от Гугла короче, там есть небольшая модель на 2 миллиарда параметров, ее еще можно попробовать дообучить. По методике one shot.
 
Maxim Dmitrievsky #:
Делали же через всякие gmdh или как его там
Видится перспективным козул (очень тяжело придумывать алгоритмы на его основе, надо иметь буйную фантазию). И языковые модели - очень сложно их дообучать. Вот эти от Гугла короче, там есть небольшая модель на 2 миллиарда параметров, ее еще можно попробовать дообучить. По методике one shot.

при чем тут LLM ?

[Удален]  
mytarmailS #:

при чем тут LLM ?

Потому что они хорошо обобщают, в теории.

Чем больше обучающая выборка, тем лучше статистика (в общем случае).

 
Maxim Dmitrievsky #:
Потому что они хорошо обобщают, в теории.

они хорошо обобщают потому что обучены на милиардных датасетах слов, а у нас цены.

Чему ты собрался дообучать нейронку если она обучена говорить.

А свою на ценах ты не обучишь так как надо кучу видюх.


Так что либо я чего то не знаю либо опять - при чем тут LLM ?

[Удален]  
mytarmailS #:

они хорошо обобщают потому что обучены на милиардных датасетах слов, а у нас цены.

Чему ты собрался дообучать нейронку если она обучена говорить.

А свою на ценах ты не обучишь так как надо кучу видюх.


Так что либо я чего то не знаю либо опять - при чем тут LLM ?

Воронцов же говорит в видосе, ты же смотрел. Про концепцию фундаментальных моделей, с часа начинается.

Вот спросил у своей


 
Maxim Dmitrievsky #:

Воронцов же говорит в видосе, ты же смотрел. Про концепцию фундаментальных моделей, с часа начинается.

Ааа, посмотрел вспомнил..

Так это как бы концепция, любую инфу можно свести к вектору , это он про ембединги говрит, ну да это так.

Но это просто концепция , а LLM обучена на ембенингах текста и не более того, вся ее структура под это обучена.

Кароч, если ты решиш ей подкинуть своих ембедингов с OHLC то ничего не будет ))


Те это надо сразу, с нуля обучать на разных ембедингах, разных задачах, разных целевых .. одновременно , чтобы она и текст писала и рисовала  и говорила итд...  мультимодальность кароч.

А ты хочешь взять нейру которая умеет в текст и дать ей OHLC ))  это не сработает

[Удален]  
mytarmailS #:

Ааа, посмотрел вспомнил..

Так это как бы концепция, любую инфу можно свести к вектору , это он про ембединги говрит, ну да это так.

Но это просто концепция , а LLM обучена на ембенингах текста и не более того, вся ее структура под это обучена.

Кароч, если ты решиш ей подкинуть своих ембедингов с OHLC то ничего не будет ))

Может произойти knowledge distillation, когда модель перенесет свои общие "знания" на твою сферу. Слабо шарю, но примерно так.

она в цифры и в текст и в картинки и даже в звук некоторые умеют, и в программный код.