L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 3399

 
mytarmailS #:

ils se généralisent bien parce qu'ils sont entraînés sur des milliards de données de mots et que nous avons des prix.

À quoi allez-vous entraîner un neurone s'il est entraîné à parler ?

Et vous ne pouvez pas entraîner le vôtre sur les prix parce que vous avez besoin de beaucoup de visualisations.


Donc, soit je ne sais pas quelque chose, soit, encore une fois, quel est le rapport avec le LLM ?

Vorontsov le dit dans la vidéo, vous l'avez regardée. Sur le concept de modèles fondamentaux, depuis le début de l'heure.

J'ai posé la question au mien


 
Maxim Dmitrievsky #:

Vorontsov parle dans la vidéo, vous l'avez vue. Sur le concept de modèles fondamentaux, à partir d'une heure.

Je m'en souviens.

C'est donc une sorte de concept, toute information peut être réduite à un vecteur, il parle des eembeddings, eh bien, oui, c'est vrai.

Mais ce n'est qu'un concept, et LLM est formé sur les embeddings de texte et rien d'autre, toute sa structure est formée pour cela.

Donc, si vous décidez de lui donner vos propres embeddings OHLC, rien ne se passera ))).


Vous devez l'entraîner à partir de zéro sur différents enchâssements, différentes tâches, différentes cibles ... en même temps, de sorte qu'il écrive du texte et dessine et parle, etc... la multimodalité, en d'autres termes.

Et si vous voulez prendre une neura qui sait écrire et lui donner OHLC )), cela ne fonctionnera pas.

 
mytarmailS #:

Ah, je me souviens.

C'est donc une sorte de concept, toute information peut être réduite à un vecteur, il parle d'eembedding, oui, c'est ça.

Mais c'est juste un concept, et LLM est entraîné sur les text embeddings et rien d'autre, toute sa structure est entraînée pour cela.

Donc, si vous décidez de lui donner vos propres eembeddings avec OHLC, rien ne se passera )))

La distillation de la connaissance peut se produire, lorsque le modèle transfère sa "connaissance" générale à votre sphère. Je suis un peu confus à ce sujet, mais cela ressemble à quelque chose comme ça.

Il peut se traduire en chiffres, en textes, en images et même en sons, ainsi qu'en code de programmation.
 
Maxim Dmitrievsky #:

La distillation des connaissances peut se produire lorsque le modèle transfère ses "connaissances" générales à votre domaine. Je suis un peu confus à ce sujet, mais c'est quelque chose comme ça.

Il ne se passera rien.

Imaginez une ACP entraînée sur certaines données, c'est-à-dire les entrailles d'un neurone.

Vous y ajoutez des données inconnues, c'est juste une sorte d'amas de points isolés que Neura n'a jamais rencontrés et dont elle ne sait pas quoi faire.

Elle ne transférera pas ses connaissances parce que ce groupe de points se trouve dans des coordonnées qu'elle n'a jamais utilisées auparavant.

 
mytarmailS #:

Il ne se passera rien.

Imaginez l'ACP entraînée sur des données, c'est le cœur de Neira.

Si vous y ajoutez des données inconnues, elles apparaîtront comme une sorte d'amas de points isolés que Neura n'a jamais rencontrés et dont il ne sait que faire.

Elle ne transférera pas ses connaissances parce que cet amas se trouve dans des coordonnées qu'elle n'a jamais utilisées auparavant.

Eh bien, c'est ce que tout le monde fait de nos jours, ils les forment à leurs tâches. Je vais devoir chercher des exemples.

Vous mettrez à jour les poids (liens) du modèle, vous n'ajouterez pas de nouveaux points.
 
Maxim Dmitrievsky #:

Eh bien, c'est ce que tout le monde fait aujourd'hui, ils les forment pour leurs propres tâches. Je vais devoir chercher des exemples.

Vous mettez à jour les poids du modèle, vous n'ajoutez pas de nouveaux points.

Vous ne comprenez pas, je vous laisse.

 
mytarmailS #:

Vous ne comprenez pas, je vous laisse.

Je comprends, mais ce n'est pas comme ça que ça marche. Il encode toute information en vecteurs sémantiques, peu importe la nature des données, ce ne sont que des symboles. Il connaît déjà tous ces symboles, c'est la séquence qui compte.

 
Oui, vous ne m'interrompez pas, c'est juste un sujet à "essayer" dans un avenir proche :)
Raison: