Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1269

 
Maxim Dmitrievsky:

наверное, я не играю только матчи смотрю

судя по реплеям, АльфаТрейдер, если такого сделают, будет торговать лучше любого мешка с костями

Мне кажется, что занимаясь подобным роботом можно получить новые навыки в МО, да и просто это интересно. Я сам пару раз проходил StarCraft 2 после выхода новых глав (там сюжет разбит на несколько частей). Когда играешь против ИИ, то он побеждает часто не логикой действий, а контролем юнитов - человек физически не может контролить сразу всю карту и каждого юнита.

 
Vladimir Perervenko:

Свои не мониторю , чужих не знаю. В статье, которую цитировали выше, недостаточно информации для воспроизведения и слишком усложнен код. Я думаю все можно реализовать стандартными слоями из пакетов, без использования R6.

Удачи

какой Вы удачи пожелали, мне вообще не понятно.

замониторьте пожалйста хотя бы демку

если результат работы эксперта с элементами МО будет приемлемым, то я перечитаю всю ветку от начала до конца.

 
Maxim Dmitrievsky:

Здесь не так, именно приближено к тому что видит человек и как делает - ограниченное поле зрения, средний apm ниже чем у про игрока. т.е. борьба именно интеллектов, т.е. стратегий, а не скоростей (где машина естественно всегда выиграет)

а встроенный ИИ в СК это просто заскриптованные неинтересные соперники. Этот наоборот играет как человек. Я бы не отличил про игрока от этого ИИ, т.е. тест Тьюринга пройден ))

даже визуализировано облако активных нейронов электронного мозга


Из скрина однозначных выводов сделать нельзя. Да, возможно контролить можно только то, что помещается на экран - это не проблема, для этих целей используют горячие клавиши на юнит/строение или группу юнитов, тогда не обязательно их визуально наблюдать в этот момент, а координировать можно по карте, которую так же всегда видно на экране. Фишка вся в микроконтроле, лично я посмотрел пару видео и не увидел там что-то умное, в плане стратегии, а вот использование потенциала отдельно взятого юнитов там раскрыто по полной. Т.е. упор там делается на оценку потенциальной угрозы и вариантов противодействия ей - в зависимости от ветви развития противников развивается своя ветвь, плюс отдельный модуль на экономику - разные методы видел, и контроль, и думаю, что первые два модуля (ветвь развития и экономика) программируются или применяется нечеткая логика, что-то относительно топорное для стабильности, а вот контроль происходит по ситуации и тут как раз работа ИИ в полной мере. Кстати, не ясно, как передается информация об объектах, как их обобщать для принятия решения и учитывать их перемещение постоянное, не понятны фичи и целевые.

 
Кстати, я иногда играю в сети близарда в Warcraft III и там меня частенько обвиняют в ИИ, интересно можно ли и там его применять. А если его применяют, то интересно сколько я раз сыграл с такими ИИ.
 
Maxim Dmitrievsky:

там кстати изначально на экран помещалась вся карта для бота, а потом сделали как у игрока и тогда бот начал тупить и чел выиграл (в конце видео). Ну зафитили плохо мб под такую ситуацию. Ну и да стратегии довольно однотипные, чел сделал бы интереснее.. с другой стороны как оценивать эффективность - раз определенные страты приводят к успеху то бот их и выбрал

Думаю, что если ограничение на контроль сделать соизмеримые человеку, то боты будут выигрывать у среднестатистического пользователя, так как поведение толпы похоже и оно будет наиболее частым. Кстати, я когда пробовал играть с сыном по сети за один клан против ботов игрушки Warcraft 3, то по началу было так же сложно (а до этого я имел богатый опыт клановых игр в батлнете против людей), но потом привыкаешь к поведению бота и постепенно его переигрываешь применяя нестандартные решения (к примеру прорубить проход к руднику через деревья, тем самым защитив юнитов от атаки с земли). Поэтому мне интересно, какой вес может отдаваться нестандартным стратегиям, что бы они учитывались при МО, т.е. нужно как то разделить стандартное поведение и не стандартное и иметь разный к ним подход, и при этом не мешать между собой. Это как тренд и флэт - одну модель сразу обучить на то и другое очень сложно, во всяком случае я не знаю как.

 
Maxim Dmitrievsky:

Думаю, что нет никакого веса. Если ситуации встречаются редко то бот будет просто игнорить такие варианты. Если человек подстраиваетс под стратегии бота, то и бота надо все время дообучать под страты чела, иначе будет не равная ситуация )

Ну не знаю, тогда получается, что многое тут зависит от выборки, если выборка разная, то и вести себя боты будут по разнаму в схватке между собой, т.е. тут не только обучение но и фактор везения (кто на чем обучался).

Т.е. не всегда виден(возможно правильно оценить) результат обучения, так-как нет валидной выборки для сравнения результатов.

 
Maxim Dmitrievsky:

Да, там как происходит обучение - через состязательные сети, по типу того. ИИ играет против ИИ тысячи раз, воспроизводя множество разных стратегий. В итоге сеть вырабатывает оптимальные стратегии. Если кол-во игр превосходит кол-во игр профессионального игрока (как они говорят равносильно 200 годам игры), то стат преимущество полюбак будет на стороне бота, он учел больше комбинаций. Но вероятность подобрать уникальную выигрывающую страту все равно остается конечно у чела

Тема интересная, но покрыта мраком :) Трейдинг отличается тут тем, что мы не можем так сильно влиять на рынок своим поведением и у нас нет возможности корректировать ошибки, ну разве что усреднением позиции...

 
Maxim Dmitrievsky:

Если разбить график на тысячи и миллионы кусков и заставить бота играть против него столько раз, то возможно он научится все время его обыгрывать, опять же от фичей зависит

Я вижу несколько иначе, в игрушке условно есть математическая оценка каждой стороны, состоящая из многих факторов - число ботов и их потенциал, имущество, денежные средства, и цель противника уменьшать этот оценочный показатель таким образом, что бы сохранять свои оценочные показатели выше противника, т.е. что бы тратить меньше энергии на результат. Таким образом получается взаимовлияющая система, где понятно, что принеся в жертву юнита ты уменьшишь оценочную стоимость активов соперника на большую сумму, чем оценочная стоимость юнита, тогда это правильное решение, а если нет, то не верное. А в трейдинге у нас нет гарантий, только вероятность, а в игрушке есть математические гарантии, которые можно просчитать.

Мы не можем оказывать влияние на ситуацию, а в игре это можно, в том числе создавать самому выгодные ситуации.
 
Maxim Dmitrievsky:

это просто разные задачи

задача не влиять а прогнозировать

на уровне абстракций статистики и МО нет вообще никакой разницы и таких понятий

есть другая проблема: профессиональные игроки в СК крайне неэффективны, глобальные рынки очень эффективны

Нет, ситуация разная, тут не нужно прогнозировать на много ходов, тут нужно просчитывать наиболее выгодные действия здесь и сейчас, но в отличие от трейдинга, если ситуация поменялась, то будет новое решение, и цена ошибки минимальна, редко без потери ресурса, а у нас даже выход из ошибочной позиции будет везти к убытку.

 
Maxim Dmitrievsky:

все то же самое, проблема в эффективности стратегии оппонента. Рынок обыграть сложнее.

Рынок нельзя обыграть, в этом и соль. Совершенно разные требования - в игре ты контролируешь ситуацию/создаешь и управляешь ей, а в трейдинге ты должен только ловить волну в нужном направлении, и остается только считать гребни волн.

Причина обращения: