L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading

 

Buon pomeriggio a tutti,

So che sul forum ci sono appassionati di machine learning e statistica. Propongo di discutere in questo topic (senza holivari), condividere e arricchire la nostra banca di conoscenze in questo interessante campo.

Per i principianti e non solo esiste una buona risorsa teorica in russo: https: //www.machinelearning.ru/.

Una piccola rassegna della letteratura sui metodi di selezione delle caratteristiche informative: https://habrahabr.ru/post/264915/.

Propongo il problema numero uno. Pubblicherò la sua soluzione più tardi. SanSanych l'ha già visto, per favore non ditemi la risposta.

Introduzione: per costruire un algoritmo di trading, è necessario sapere quali fattori costituiranno la base per prevedere il prezzo, o la tendenza, o la direzione di apertura di un'operazione. La selezione di tali fattori non è un compito facile e infinitamente complesso.

In allegato trovate un archivio con un set di dati csv artificiali che ho realizzato.

I dati contengono 20 variabili con il prefisso input_, e una variabile di destra output.

La variabile di output dipende da un sottoinsieme di variabili di input(il sottoinsieme può contenere da 1 a 20 input).

Compito: utilizzando qualsiasi metodo (apprendimento automatico), selezionare le variabili di input che possono essere utilizzate per determinare lo stato della variabile di output sui dati esistenti.

La soluzione può essere pubblicata qui nella forma: input_2, input_19, input_5 (esempio). E si può anche descrivere la dipendenza trovata degli ingressi e della variabile di uscita.

Chi può farlo, ben fatto) Da parte mia la soluzione pronta e la spiegazione.

Alessio

File:
 

Deus Ex Machina.

Queste sono le parole che aprono al lettore le pagine di anni di volumi di trattati filosofici.

Quindi nessuno vuole fare il sollevamento automatico?

 
Alexey Burnakov:

Deus Ex Machina.

Queste sono le parole che aprono al lettore le pagine di anni di volumi di trattati filosofici.

Quindi nessuno vuole fare il sollevamento automatico?

Ogni affare ha un rischio e altre condizioni, il machine learning usa dati vecchi, cioè opera su qualcosa che non esiste.
 
yerlan Imangeldinov:
Ogni transazione ha un rischio e altre condizioni, il machine learning usa dati vecchi, cioè opera su qualcosa che non esiste.

Più precisamente, a ciò che è venuto prima.

E in questo, cerchiamo una dipendenza sostenibile.

Li stiamo cercando.

 
Alexey Burnakov:

Più precisamente, a ciò che è venuto prima.

E in questo, cerchiamo una dipendenza sostenibile.

Li stiamo cercando.

Questa è la debolezza che il mercato sta imparando attraverso la funzione Soros che è meglio non usare roba vecchia.
 
yerlan Imangeldinov:
Ogni affare ha un rischio e altre condizioni, il machine learning usa dati vecchi, cioè opera su qualcosa che non esiste.
E avete nuovi dati? Quindi, non guardate nemmeno il grafico, non guardate nemmeno i vecchi dati? Sì?
 
Dmitry Fedoseev:
Avete nuovi dati? Quindi non guardate nemmeno il grafico, ci sono dati vecchi? Sì?
Te lo sei tolto dalla lingua.
 

Comunque, ecco qui. Per stimolare un po' l'argomento, prometto di trasferire 5 crediti a chi risolve correttamente il problema dato.

Distribuire una serie di input informativi.

La comunità me li ha dati per la mia attività sul forum, li rimetterò nel sistema, ma avremo qualche discussione interessante.

Alexei

 

Il tema dichiarato del Machine Learning è importante, complesso ed enorme. A giudicare dal tuo primo post, vuoi iniziare con uno dei passi preparatori e importanti - " valutazione e selezione dei predittori". Cosa vuoi risolvere o mostrare con il compito dato? Un nuovo metodo, metodo o cosa?

Il contenuto e l'argomento dell'argomento non sono gli stessi.

Sii più specifico sull'obiettivo, forse la gente sarà interessata.

Poche persone hanno tempo libero per risolvere problemi con obiettivi poco chiari.

Buona fortuna

 
Nonho idea di cosa farci:
Ogni affare ha un rischio e altre condizioni, il machine learning usa dati vecchi, cioè opera su qualcosa che non esiste.

Sempre imparando dal passato.

Guardiamo per secoli un grafico. Sia su e vediamo 'tre soldati', poi vediamo 'testa e spalle'. Quante di queste cifre abbiamo già visto e crediamo in queste cifre, commerciamo...

E se il compito è impostato in questo modo

1. trovare automaticamente tali figure, non a tutti i grafici, ma a una coppia di valute particolare, quelle che si sono verificate di recente, non tre secoli fa nel commercio del riso giapponese.

2) I dati iniziali su cui cerchiamo automaticamente tali figure - modelli.

Per rispondere alla prima domanda, consideriamo l'algoritmo chiamato "foresta casuale". L'algoritmo prende le quotazioni di una o più valute, indicatori, incrementi di prezzo - tutto ciò che è stato inventato dall'uomo, come dati di input per il suo funzionamento. 10-5-100-200 ... variabili di input. Poi prende l'insieme dei valori delle variabili che si riferiscono a un punto nel tempo corrispondente a una barra e cerca una combinazione di queste variabili di input che corrisponderebbe sui dati storici a un certo risultato, per esempio, un ordine BUY. E un'altra serie di combinazioni per un altro ordine - VENDERE. Un albero separato corrisponde a ciascuno di questi insiemi. L'esperienza mostra che per un set di input di 18000 barre (circa 3 anni) l'algoritmo trova 200-300 alberi. Questo è l'insieme dei modelli, quasi analoghi di "teste e spalle", e bocche intere di soldati.

Il problema con questo algoritmo è che tali alberi possono raccogliere alcune specificità che non si incontrano in futuro. Questo è chiamato "superfitting" qui nel forum, nell'apprendimento automatico "overfitting". Sappiamo che tutto un grande insieme di variabili di input può essere diviso in due parti: quelle legate alla variabile di output e quelle non legate al rumore. Così Burnakov cerca di eliminare quelli che sono irrilevanti per l'uscita.

PS.

Quando si costruisce un TS di tendenza (COMPRA, VENDI) qualsiasi tipo di vagone è legato al rumore!

 
Vladimir Perervenko:

A giudicare dal tuo primo post, vuoi iniziare con uno dei passi preparatori e importanti - "Valutazione e scelta dei predittori". Cosa vuoi risolvere o mostrare con il compito dato? Un nuovo metodo, metodo o cosa?

Il contenuto e l'argomento dell'argomento non sono gli stessi.

Sii più specifico sull'obiettivo, forse la gente sarà interessata.

Poche persone hanno tempo libero per risolvere problemi con obiettivi poco chiari.


Ok.

Se qualcuno decide o almeno si avvicina alla soluzione corretta (cioè l'argomento sarà vivo), io:

pubblicherà la soluzione corretta - l'algoritmo per generare il set di dati

spiegare perché un certo numero di altri algoritmi per la " stima e selezione dei predittori" ha fallito

Posterò il mio metodo, che risolve in modo robusto e sensibile problemi simili - darò la teoria e posterò il codice in R.

Questo è fatto per l'arricchimento reciproco dei compiti di apprendimento automatico.

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829283028312832283328342835283628372838283928402841284228432844284528462847284828492850285128522853285428552856285728582859286028612862286328642865286628672868286928702871287228732874287528762877287828792880288128822883288428852886288728882889289028912892289328942895289628972898289929002901290229032904290529062907290829092910291129122913291429152916291729182919292029212922292329242925292629272928292929302931293229332934293529362937293829392940294129422943294429452946294729482949295029512952295329542955295629572958295929602961296229632964296529662967296829692970297129722973297429752976297729782979298029812982298329842985298629872988298929902991299229932994299529962997299829993000300130023003300430053006300730083009301030113012301330143015301630173018301930203021302230233024302530263027302830293030303130323033303430353036303730383039304030413042304330443045304630473048304930503051305230533054305530563057305830593060306130623063306430653066306730683069307030713072307330743075307630773078307930803081308230833084308530863087308830893090309130923093309430953096309730983099310031013102310331043105310631073108310931103111311231133114311531163117311831193120312131223123312431253126312731283129313031313132313331343135313631373138313931403141314231433144314531463147314831493150315131523153315431553156315731583159316031613162316331643165316631673168316931703171317231733174317531763177317831793180318131823183318431853186318731883189319031913192319331943195319631973198319932003201320232033204320532063207320832093210321132123213321432153216321732183219322032213222322332243225322632273228322932303231323232333234323532363237323832393240324132423243324432453246324732483249325032513252325332543255325632573258325932603261326232633264326532663267326832693270327132723273327432753276327732783279328032813282328332843285328632873288328932903291329232933294329532963297329832993300330133023303330433053306330733083309331033113312331333143315331633173318331933203321332233233324332533263327332833293330333133323333333433353336333733383339334033413342334333443345334633473348334933503351335233533354335533563357335833593360336133623363336433653366336733683369337033713372337333743375337633773378337933803381338233833384338533863387338833893390339133923393339433953396339733983399
Motivazione: