L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 3399

 
mytarmailS #:

generalizzano bene perché sono addestrati su miliardi di set di parole e noi abbiamo i prezzi.

Cosa addestrare un neurone a fare se è addestrato a parlare?

E non si può addestrare un neurone sui prezzi perché servono molte visualizzazioni.


Quindi o non so qualcosa o, ancora una volta, cosa c'entra l'LLM?

Vorontsov lo dice nel video, l'avete visto. Sul concetto di modelli fondamentali, dall'inizio dell'ora.

Ho chiesto il mio


 
Maxim Dmitrievsky #:

Vorontsov parla nel video, lo avete visto. Sul concetto di modelli fondamentali, a partire dall'una.

Oh, mi ricordo.

Quindi è una specie di concetto, qualsiasi informazione può essere ridotta a un vettore, sta parlando di embeddings, beh, sì, è così.

Ma è solo un concetto, e LLM è addestrato su embeddings di testo e niente di più, la sua intera struttura è addestrata per questo.

Quindi, se decidete di dargli i vostri embeddings OHLC, non succederà nulla )))


È necessario addestrarlo da zero su embeddings diversi, compiti diversi, obiettivi diversi... allo stesso tempo, in modo che scriva testo e disegni e parli, ecc... multimodalità, in altre parole.

E se si vuole prendere una neura che sa scrivere e darle OHLC)) non funzionerà.

 
mytarmailS #:

Ah, guarda, mi ricordo.

Quindi è una specie di concetto, qualsiasi informazione può essere ridotta a un vettore, sta parlando di eembedding, sì, è vero.

Ma è solo un concetto, e LLM è addestrato sulle incorporazioni di testo e niente di più, la sua intera struttura è addestrata per questo.

Quindi, se decidete di dargli i vostri eembeddings con OHLC, non succederà nulla )))

La distillazione della conoscenza può avvenire quando il modello trasferisce la sua "conoscenza" generale al vostro ambito. Sono un po' confuso su questo punto, ma funziona più o meno così.

Può tradursi in numeri, testi, immagini e persino suoni, e in codice di programma.
 
Maxim Dmitrievsky #:

La distillazione della conoscenza può avvenire quando il modello trasferisce la sua "conoscenza" generale al vostro dominio. Sono un po' confuso su questo punto, ma è qualcosa di simile.

Non succederà nulla.

Immaginate una PCA addestrata su alcuni dati, che è il nucleo di un neurone.

Se si aggiungono dati sconosciuti, si ottiene una sorta di ammasso isolato di punti che Neura non conosce e non ha idea di cosa farne.

Non trasferirà la conoscenza perché quel cluster si trova in coordinate in cui non ha mai lavorato prima.

 
mytarmailS #:

Non succederà nulla.

Immaginate la PCA addestrata su alcuni dati, questo è il cuore di Neira.

Se si aggiungono dati sconosciuti, questi appariranno come una sorta di cluster isolato di punti che Neura non ha mai incontrato e non ha idea di cosa farne.

Non trasferirà la conoscenza perché quel cluster si trova in coordinate in cui non ha mai lavorato prima.

Beh, è quello che fanno tutti al giorno d'oggi, li addestrano per i loro compiti. Dovrò cercare degli esempi.

Si aggiornano i pesi (collegamenti) del modello, non si aggiungono nuovi punti.
 
Maxim Dmitrievsky #:

Beh, è quello che fanno tutti oggi, li addestrano per i loro compiti. Dovrò cercare degli esempi.

Si aggiornano i pesi del modello, non si aggiungono nuovi punti.

Non hai capito, ti lascio fare.

 
mytarmailS #:

Non capisci, ti lascio fare.

Ho capito, ma non è così che funziona. Codifica qualsiasi informazione in vettori semantici, non importa di che natura siano i dati, sono solo simboli. Conosce già tutti quei simboli, è la sequenza che conta.

 
Sì, non stai interrompendo, è solo un argomento da "provare" per il prossimo futuro :)
Motivazione: