Aprendizado de máquina no trading: teoria, prática, negociação e não só

 

Boa tarde, a todos,

Sei que há entusiastas da aprendizagem mecânica e da estatística neste fórum. Sugiro discutir neste fio (sem hooligans), partilhando e enriquecendo os nossos próprios conhecimentos neste interessante campo.

Para principiantes e não só, existe um bom recurso teórico em russo:https://www.machinelearning.ru/

Uma pequena revisão bibliográfica sobre métodos para a selecção de elementos informativos: https://habrahabr.ru/post/264915/

Proponho o problema número um. Afixarei a sua solução mais tarde. SanSanych já o viu, por favor não me diga a resposta.

Introdução: Para construir um algoritmo de comércio, é necessário saber que factores serão a base para prever o preço, ou a tendência, ou a direcção de abertura do comércio. A selecção destes factores não é uma tarefa fácil, e é infinitamente complicada.

Em anexo está um arquivo com um conjunto de dados csv artificial que fiz.

Os dados contêm 20 variáveis prefixadas com input_, e uma variável mais à direita de saída.

A variável de saída depende de algum subconjunto de variáveis de entrada(o subconjunto pode conter de 1 a 20 entradas).

Problema: Usando quaisquer métodos (aprendizagem por máquina), seleccionar as variáveis de entrada que podem ser usadas para determinar o estado da variável de saída sobre os dados existentes.

A solução pode ser afixada aqui como: input_2, input_19, input_5 (exemplo). E também pode descrever a dependência encontrada das variáveis de entrada e saída.

Quem o conseguirá fazer, bem feito). Devo-lhe uma solução pronta e uma explicação.

Alexey

Arquivos anexados:
 

Deus Ex Machina.

Estas são as palavras que abrem as páginas de anos de volumes de tratados filosóficos para o leitor.

Então, ninguém quer fazer o levantamento da máquina?

 
Alexey Burnakov:

Deus Ex Machina.

Estas são as palavras que abrem as páginas de anos de volumes de tratados filosóficos para o leitor.

Então, ninguém quer fazer o levantamento da máquina?

Todo negócio tem um risco e outras condições, a aprendizagem da máquina utiliza dados antigos, ou seja, opera em algo que não existe.
 
yerlan Imangeldinov:
Toda transação tem risco e outras condições, a aprendizagem da máquina utiliza dados antigos, ou seja, opera em algo que não existe.

Mais precisamente, ao que veio antes.

E nisso, nós procuramos uma dependência sustentável.

Nós estamos à procura deles.

 
Alexey Burnakov:

Mais precisamente, ao que veio antes.

E nisso, nós procuramos uma dependência sustentável.

Nós estamos à procura deles.

Esta é a fraqueza que o mercado está aprendendo através da função Soros, é melhor não usar coisas velhas.
 
yerlan Imangeldinov:
Todo negócio tem risco e outras condições, a aprendizagem da máquina usa dados antigos, ou seja, opera em algo que não existe.
E você tem novos dados? Então, nem sequer olhas para o gráfico, nem sequer olhas para dados antigos? Sim?
 
Dmitry Fedoseev:
Você tem novos dados? Então nem sequer olhas para o gráfico, há dados antigos? Sim?
Tiraste-o da tua língua.
 

De qualquer forma, aqui vai. Para estimular um pouco o tema, prometo transferir 5 créditos para quem resolver o problema corretamente.

Dê um conjunto de informações.

A comunidade deu-mos para a minha actividade no fórum, vou colocá-los de volta no sistema, mas vamos ter alguma discussão interessante.

Alexei

 

O tema declarado de Machine Learning é importante, complexo e enorme. A julgar pelo seu primeiro posto, você quer começar com uma das etapas preparatórias e importantes - " Avaliação e seleção do prognosticador". O que você quer resolver ou mostrar com a tarefa dada? Um novo método, método ou quê?

O conteúdo e o tópico do tópico não são o mesmo.

Seja mais específico sobre o objetivo, e as pessoas podem estar interessadas.

Poucas pessoas têm tempo livre para resolver problemas com objectivos pouco claros.

Boa sorte.

 
Nãofaço ideia do que fazer com ele:
Cada negócio tem um risco e outras condições, a aprendizagem da máquina utiliza dados antigos, ou seja, opera em algo que não existe.

Sempre a aprender com o passado.

Procuramos durante séculos num gráfico. Ambos sobre e vemos "três soldados", depois vemos "cabeça e ombros". Quantos destes números já vimos e acreditamos neles, nós trocamos...

E se a tarefa for definida assim:

1. encontrar automaticamente tais números, não para todos os gráficos, mas para um determinado par de moedas, os que ocorreram recentemente, não há três séculos atrás, no comércio do arroz japonês.

2) Os dados iniciais sobre os quais procuramos automaticamente tais números - padrões.

Para responder à primeira pergunta, consideremos o algoritmo chamado "floresta aleatória". O algoritmo toma cotações de uma ou várias moedas, indicadores, incrementos de preço - tudo o que foi inventado humanamente, como dados de entrada para o seu funcionamento. 10-5-100-200 ... variáveis de entrada. Em seguida, ele pega todo o conjunto de valores das variáveis referentes a um ponto no tempo correspondente a uma barra e procura por uma combinação dessas variáveis de entrada que corresponderia nos dados do histórico a um determinado resultado, por exemplo, uma ordem de compra. E outro conjunto de combinações para outra encomenda - SELL. Uma árvore separada corresponde a cada um desses conjuntos. A experiência mostra que para um conjunto de entrada de 18000 barras (cerca de 3 anos), o algoritmo encontra 200-300 árvores. Este é o conjunto de padrões, quase análogos de "cabeças e ombros", e bocas inteiras de soldados.

O problema com este algoritmo é que tais árvores podem captar algumas especificidades que não são encontradas no futuro. Isto é chamado de "superfitting" aqui no fórum, na aprendizagem de máquinas "overfitting". Sabemos que todo um grande conjunto de variáveis de entrada pode ser dividido em duas partes: as relacionadas com a variável de saída e as não relacionadas com o ruído. Então Burnakov tenta eliminar os que são irrelevantes para a saída.

PS.

Ao construir uma tendência TS (BUY, SELL) qualquer tipo de vagões estão relacionados com o ruído!

 
Vladimir Perervenko:

A julgar pelo seu primeiro posto, você quer começar com uma das etapas preparatórias e importantes - "Avaliação e escolha dos preditores". O que você quer resolver ou mostrar com a tarefa dada? Um novo método, método ou quê?

O conteúdo e o tópico do tópico não são o mesmo.

Seja mais específico sobre o objetivo, talvez as pessoas estejam interessadas.

Poucas pessoas têm tempo livre para resolver problemas com objectivos pouco claros.


Está bem.

Se alguém decidir ou pelo menos se aproximar da solução correta (ou seja, o tópico estará vivo), eu:

irá publicar a solução correta - o algoritmo para gerar o conjunto de dados

explicar porque falhou uma série de outros algoritmos para " Estimativa e seleção do prognosticador".

Vou publicar o meu método, que resolve de forma robusta e sensível problemas semelhantes - vou dar a teoria e o código postal em R.

Isto é feito para o enriquecimento mútuo das tarefas de aprendizagem da máquina.

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829283028312832283328342835283628372838283928402841284228432844284528462847284828492850285128522853285428552856285728582859286028612862286328642865286628672868286928702871287228732874287528762877287828792880288128822883288428852886288728882889289028912892289328942895289628972898289929002901290229032904290529062907290829092910291129122913291429152916291729182919292029212922292329242925292629272928292929302931293229332934293529362937293829392940294129422943294429452946294729482949295029512952295329542955295629572958295929602961296229632964296529662967296829692970297129722973297429752976297729782979298029812982298329842985298629872988298929902991299229932994299529962997299829993000300130023003300430053006300730083009301030113012301330143015301630173018301930203021302230233024302530263027302830293030303130323033303430353036303730383039304030413042304330443045304630473048304930503051305230533054305530563057305830593060306130623063306430653066306730683069307030713072307330743075307630773078307930803081308230833084308530863087308830893090309130923093309430953096309730983099310031013102310331043105310631073108310931103111311231133114311531163117311831193120312131223123312431253126312731283129313031313132313331343135313631373138313931403141314231433144314531463147314831493150315131523153315431553156315731583159316031613162316331643165316631673168316931703171317231733174317531763177317831793180318131823183318431853186318731883189319031913192319331943195319631973198319932003201320232033204320532063207320832093210321132123213321432153216321732183219322032213222322332243225322632273228322932303231323232333234323532363237323832393240324132423243324432453246324732483249325032513252325332543255325632573258325932603261326232633264326532663267326832693270327132723273327432753276327732783279328032813282328332843285328632873288328932903291329232933294329532963297329832993300330133023303330433053306330733083309331033113312331333143315331633173318331933203321332233233324332533263327332833293330333133323333333433353336333733383339334033413342334333443345334633473348334933503351335233533354335533563357335833593360336133623363336433653366336733683369337033713372337333743375337633773378337933803381338233833384338533863387338833893390339133923393339433953396339733983399
Razão: