L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading

 

Bonjour à tous,

Je sais qu'il y a des passionnés de machine learning et de statistiques sur le forum. Je propose de discuter dans ce sujet (sans holivars), de partager et d'enrichir notre propre banque de connaissances dans ce domaine intéressant.

Pour les débutants, et pas seulement, il existe une bonne ressource théorique en russe : https://www.machinelearning.ru/.

Une petite revue de la littérature sur les méthodes de sélection des caractéristiques informatives : https://habrahabr.ru/post/264915/.

Je propose le problème numéro un. Je publierai sa solution plus tard. SanSanych l'a déjà vu, ne me donnez pas la réponse.

Introduction : pour construire un algorithme de trading, il est nécessaire de savoir quels sont les facteurs qui serviront de base à la prédiction du prix, de la tendance ou de la direction de l'ouverture d'une transaction. La sélection de ces facteurs n'est pas une tâche facile, et elle est infiniment complexe.

Vous trouverez ci-joint une archive contenant un ensemble de données csv artificielles que j'ai créé.

Les données contiennent 20 variables avec le préfixe input_, et une variable à droite output.

La variable de sortie dépend d'un sous-ensemble de variables d'entrée(le sous-ensemble peut contenir de 1 à 20 entrées).

Tâche : à l'aide de n'importe quelle méthode (apprentissage automatique), sélectionner les variables d'entrée qui peuvent être utilisées pour déterminer l'état de la variable de sortie sur les données existantes.

La solution peut être affichée ici sous la forme : input_2, input_19, input_5 (exemple). Vous pouvez également décrire la dépendance trouvée entre les entrées et la variable de sortie.

Qui peut le faire, bien joué) De ma part, la solution et l'explication sont prêtes.

Alexey

Dossiers :
 

Deus Ex Machina.

Ce sont les mots qui ouvrent au lecteur les pages d'années de volumes de traités philosophiques.

Donc, personne ne veut faire de l'haltérophilie ?

 
Alexey Burnakov:

Deus Ex Machina.

Ce sont les mots qui ouvrent au lecteur les pages d'années de volumes de traités philosophiques.

Donc, personne ne veut faire de l'haltérophilie ?

Chaque transaction comporte un risque et d'autres conditions, l'apprentissage automatique utilise des données anciennes, c'est-à-dire qu'il opère sur quelque chose qui n'existe pas.
 
yerlan Imangeldinov:
Chaque transaction comporte des risques et d'autres conditions, l'apprentissage automatique utilise des données anciennes, c'est-à-dire qu'il opère sur quelque chose qui n'existe pas.

Plus précisément, à ce qui a précédé.

Et dans ce cadre, nous recherchons une dépendance durable.

Nous les recherchons.

 
Alexey Burnakov:

Plus précisément, à ce qui a précédé.

Et dans ce cadre, nous recherchons une dépendance durable.

Nous les recherchons.

C'est la faiblesse que le marché apprend à travers la fonction Soros : il vaut mieux ne pas utiliser les vieux trucs.
 
yerlan Imangeldinov:
Chaque transaction comporte des risques et d'autres conditions, l'apprentissage automatique utilise des données anciennes, c'est-à-dire qu'il opère sur quelque chose qui n'existe pas.
Et vous avez de nouvelles données ? Donc, vous ne regardez même pas le graphique, vous ne regardez même pas les anciennes données ? Oui ?
 
Dmitry Fedoseev:
Avez-vous de nouvelles données ? Donc vous ne regardez même pas le tableau, il y a des données anciennes ? Oui ?
Tu l'as enlevé de ta langue.
 

Bref, voilà. Pour stimuler un peu le sujet, je promets de transférer 5 crédits à celui qui résoudra correctement le problème donné.

Distribuez une série d'entrées informatives.

La communauté me les a donnés pour mon activité sur le forum, je les remettrai dans le système, mais nous aurons des discussions intéressantes.

Alexei

 

Le thème de l'apprentissage automatique est important, complexe et vaste. À en juger par votre premier message, vous souhaitez commencer par l'une des étapes préparatoires les plus importantes, à savoir "l' évaluation et la sélection du prédicteur". Que voulez-vous résoudre ou montrer avec la tâche donnée ? Une nouvelle méthode, une méthode ou quoi ?

Le contenu et le thème du sujet ne sont pas les mêmes.

Soyez plus précis sur l'objectif, peut-être que les gens seront intéressés.

Peu de gens ont du temps libre pour résoudre des problèmes dont les objectifs ne sont pas clairs.

Bonne chance

 
Je n'ai aucune idée de ce qu'il faut en faire :
Chaque transaction comporte un risque et d'autres conditions, l'apprentissage automatique utilise des données anciennes, c'est-à-dire qu'il opère sur quelque chose qui n'existe pas.

Toujours apprendre du passé.

Nous regardons pendant des siècles un graphique. Ensuite, nous voyons "trois soldats", puis "tête et épaules". Combien de ces chiffres nous avons déjà vus et nous croyons en ces chiffres, nous échangeons...

Et si la tâche est définie comme ceci :

1. trouver automatiquement de tels chiffres, non pas pour tous les graphiques, mais pour une paire de devises particulière, ceux qui se sont produits récemment, et non pas il y a trois siècles dans le commerce du riz japonais.

2) Les données initiales sur lesquelles nous recherchons automatiquement de telles figures - modèles.

Pour répondre à la première question, considérons l'algorithme appelé "forêt aléatoire". Cet algorithme prend comme données d'entrée les cours d'une ou plusieurs devises, des indicateurs, des incréments de prix - tout ce qui a été inventé par l'homme. 10-5-100-200 ... les variables d'entrée. Il prend ensuite l'ensemble des valeurs des variables se référant à un moment donné correspondant à une barre et recherche une combinaison de ces variables d'entrée qui correspondrait, sur les données historiques, à un certain résultat, par exemple un ordre BUY. Et une autre série de combinaisons pour un autre ordre - VENDRE. Un arbre distinct correspond à chacun de ces ensembles. L'expérience montre que pour un ensemble d'entrée de 18000 barres (environ 3 ans) l'algorithme trouve 200-300 arbres. C'est l'ensemble des motifs, presque analogues aux "têtes et épaules", et aux bouches entières des soldats.

Le problème avec cet algorithme est que de tels arbres peuvent capter certaines spécificités qui ne seront pas rencontrées dans le futur. C'est ce qu'on appelle ici dans le forum le "superfitting", dans l'apprentissage machine le "overfitting". Nous savons qu'un grand ensemble de variables d'entrée peut être divisé en deux parties : celles qui sont liées à la variable de sortie et celles qui ne sont pas liées au bruit. Burnakov essaie donc d'éliminer celles qui ne sont pas pertinentes pour le résultat.

PS.

Lors de la construction d'une tendance TS (BUY, SELL) toute sorte de wagons sont liés au bruit !

 
Vladimir Perervenko:

À en juger par votre premier message, vous voulez commencer par l'une des étapes préparatoires et importantes - "Évaluation et choix des prédicteurs". Que voulez-vous résoudre ou montrer avec la tâche donnée ? Une nouvelle méthode, une méthode ou quoi ?

Le contenu et le thème du sujet ne sont pas les mêmes.

Soyez plus précis sur l'objectif, peut-être que les gens seront intéressés.

Peu de gens ont du temps libre pour résoudre des problèmes dont les objectifs ne sont pas clairs.


Ok.

Si quelqu'un décide ou au moins s'approche de la solution correcte (c'est-à-dire que le sujet sera vivant), j'ai :

va poster la solution correcte - l'algorithme pour générer l'ensemble de données

expliquer pourquoi un certain nombre d'autres algorithmes pour "l'estimation et la sélection du prédicteur" ont échoué

Je vais poster ma méthode, qui résout de manière robuste et sensible des problèmes similaires - je donnerai la théorie et posterai le code en R.

Ceci est fait pour l'enrichissement mutuel des tâches d'apprentissage automatique.

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829283028312832283328342835283628372838283928402841284228432844284528462847284828492850285128522853285428552856285728582859286028612862286328642865286628672868286928702871287228732874287528762877287828792880288128822883288428852886288728882889289028912892289328942895289628972898289929002901290229032904290529062907290829092910291129122913291429152916291729182919292029212922292329242925292629272928292929302931293229332934293529362937293829392940294129422943294429452946294729482949295029512952295329542955295629572958295929602961296229632964296529662967296829692970297129722973297429752976297729782979298029812982298329842985298629872988298929902991299229932994299529962997299829993000300130023003300430053006300730083009301030113012301330143015301630173018301930203021302230233024302530263027302830293030303130323033303430353036303730383039304030413042304330443045304630473048304930503051305230533054305530563057305830593060306130623063306430653066306730683069307030713072307330743075307630773078307930803081308230833084308530863087308830893090309130923093309430953096309730983099310031013102310331043105310631073108310931103111311231133114311531163117311831193120312131223123312431253126312731283129313031313132313331343135313631373138313931403141314231433144314531463147314831493150315131523153315431553156315731583159316031613162316331643165316631673168316931703171317231733174317531763177317831793180318131823183318431853186318731883189319031913192319331943195319631973198319932003201320232033204320532063207320832093210321132123213321432153216321732183219322032213222322332243225322632273228322932303231323232333234323532363237323832393240324132423243324432453246324732483249325032513252325332543255325632573258325932603261326232633264326532663267326832693270327132723273327432753276327732783279328032813282328332843285328632873288328932903291329232933294329532963297329832993300330133023303330433053306330733083309331033113312331333143315331633173318331933203321332233233324332533263327332833293330333133323333333433353336333733383339334033413342334333443345334633473348334933503351335233533354335533563357335833593360336133623363336433653366336733683369337033713372337333743375337633773378337933803381338233833384338533863387338833893390339133923393339433953396339733983399
Raison: