Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1273

 
Maxim Dmitrievsky:

все аналогии разобьются о стену ваших фантазий. За вчера привел их массу, но вы ни одну не поняли

Штирлиц продолжал стоять на своем, это была любимая пытка Мюллера.

если приятно думать о том, что агент влияет на соперника спецом, что это какая-то отдельная особая стратегия, то думайте

а он просто перебирает варианты, играя с соперниками много раз, и для каждого случая выделяет оптимальные стратегии (если выигрывает получает вознаграждения), если проигрывает то штрафуется. В итоге у него есть опыт в виде натрененой НС, которая учла кучу разных игровых комбинаций, и может спрогнозировать исход каждой, поэтому действует в соответствии с лучшим прогнозом. Если противник меняет страту, то НС это все видит и реагирует другой стратой, активацией других нейронов. Точно так же когда рынок меняется НС выдает другие прогнозы.

Да правильно Вы всё пишите, я разве спорю по этому? Нет, я спорю по тому, что выбор происходит из тех действий, которые могут оказывать влияние на среду, соперника или бездействовать. Да, получает вознаграждение за воздействие на соперника и тем самым изменяет вероятность общего исхода события (игры), а у трейдера нет именно такой возможности в действиях и это существенно влияет на вектор действий. Возможно, что если разделить на три группы действия, то увидим, что именно воздействие на соперника в большей степени вносит вклад в общий исход, т.е. это значительное действие, которое приводит к общему положительному исходу, влияет в большей степени на результат.

Если опять я не смог донести мысль, то думаю, что уже хватит мне стараться, а то уже навязывание получается, а я лишь хотел поделится информацией о своих наблюдениях.

 
Farkhat Guzairov:

Алексей, вы если честно только спамите и понятно ради чего, за все время что вы тут написали много много букв, написали ли вы хоть одну строчку кода, что могло бы подкрепить ваши слова и догадки?

Больше чем уверен, нет.

Печально, что когда вы просите дать вам материл для повышения осведомленности по текущему вопросу, вы с легкостью его отвергаете, так как она языке который вам не знаком, неужели сложно пользоваться переводчиками?

По поводу вероятностей, как раз нейросеть обучается по историческим сценариям с 100% известным исходом и уже после при применении обученной сети, вы получить ответ по ситуации не 100%, а вероятностный,  далее исходя из логики что будет вами заложена, вы(другая сеть) будите принимать решение что делать, этим самым в итоге вы получите живую сеть, решения и исходы которых будут не возможно предугадать.

Нет, я не писал какой либо код по игре StarCraft 2, даже не смог найти, как делают ботов, т.е. интеллект там можно программировать триггерами, а прямое вмешательство в код, вроде как запрещено, о чем есть сообщения, но возможно получать доступ к памяти, используемой StarCraft (1) и там долгое время проходят соревнования. Однако, разве кто-то тут выкладывал код по игре?

Да, материал мне какой то дали (Максим молодец в плане работы с иностранной литературой\информацией), но я просил определение термину, и более того оценил материал, как содержащий большую информацию, чем я смог найти на просторах русскоязычного интернета.

Не понял Ваше сообщения о принципах работы МО. Что Вы хотели этим сказать?

 
Aleksey Vyazmikin:

Нет, я не писал какой либо код по игре StarCraft 2, даже не смог найти, как делают ботов, т.е. интеллект там можно программировать триггерами, а прямое вмешательство в код, вроде как запрещено, о чем есть сообщения, но возможно получать доступ к памяти, используемой StarCraft (1) и там долгое время проходят соревнования. Однако, разве кто-то тут выкладывал код по игре?

Про StarCraft 2, никто не делает прямого вмешательства в код игры, как и нет API для получения данных из игры, все гораздо проще. Боты учатся на основе графических образов, попросту скриншотов экрана, т.е. они получают ровно столько же информации, что и человек, а вот распоряжаются ей гораздо эффективней чем средне статистический игрок.

 
Farkhat Guzairov:

Про StarCraft 2, никто не делает прямого вмешательства в код игры, как и нет API для получения данных из игры, все гораздо проще. Боты учатся на основе графических образов, попросту скриншотов экрана, т.е. они получают ровно столько же информации, что и человек, а вот распоряжаются ей гораздо эффективней чем средне статистический игрок.

Я говорю, в первую очередь, о применении модели. Можете об этом почитать, к примеру тут.

История соревнований ИИ по Starcraft
История соревнований ИИ по Starcraft
  • habr.com
Начиная с первого Starcraft AI Competition, проведённого в 2010 году, тема искусственного интеллекта в стратегиях реального времени (RTS) становится всё более популярной. Участники таких соревнований представляют своих ИИ-ботов Starcraft, которые сражаются в стандартной версии Starcraft: Broodwar. Эти соревнования по играм RTS, вдохновлённые...
 
Aleksey Vyazmikin:

Я говорю, в первую очередь, о применении модели. Можете об этом почитать, к примеру тут.

В мое сообщении про код, я задавал риторический вопрос, так как в этой ветке уже столько всего было написано, но очень мало людей в итоге хоть как то смогли применить хотя бы 5% из того, что тут обсуждалось. Лично вы что то сделали в итоге?

О применимых моделей, да все они схожи (игры, прогноз погоды, рынки и т.д.), тут вопрос в том, что вы подадите на вход МО, а не как это будет обрабатываться внутри МО, люди до сих пор не понимают, как им быть в итоге с тем что они получили от МО, вся проблема в этом. В этом плане с играми проще, так как там уже готовая матрица входных данных, а вот во всем других областях надо придумывать свои методы предобработки.

 
Farkhat Guzairov:

В мое сообщении про код, я задавал риторический вопрос, так как в этой ветке уже столько всего было написано, но очень мало людей в итоге хоть как то смогли применить хотя бы 5% из того, что тут обсуждалось. Лично вы что то сделали в итоге?

О применимых моделей, да все они схожи (игры, прогноз погоды, рынки и т.д.), тут вопрос в том, что вы подадите на вход МО, а не как это будет обрабатываться внутри МО, люди до сих пор не понимают, как им быть в итоге с тем что они получили от МО, вся проблема в этом. В этом плане с играми проще, так как там уже готовая матрица входных данных, а вот во всем других областях надо придумывать свои методы предобработки.

Ну вот, сами не стали читать информацию, с которой начали спорить, а Выше меня обвиняли. Ладно, все люди похожи.

Я опять не понимаю вопрос, про "лично вы что то сделали в итоге" - разверните его, в каком таком итоге, и что я должен был сделать лично? Если речь идет о применении мной МО, то да, я работаю над этим вопросом по ряду направлений (создания модели, отбор, применение) - многое писал тут о своих достижениях.

В том то и дело, что не все модели схожи, а предикторы - да крайне значимы. Сложная система состоит из разных моделей, в том числе разных типов (деревья/НС), об этом говорят, к примеру, те же специалисты из Яндекс.

 

Кстати, обратите внимание, что человек проигрывал ошибаясь в действиях (кликал криво/забывал активировать умение), но смог выиграть применив нестандартный тактический ход - постоянно отвлекал соперника высадкой десанта в тыл базы соперника, в результате чего тот вынужден был разворачивать войска для наступления на базу человека, что дало человеку время развить своих юнитов до более высокого уровня, в результате чего он смог нанести значительный урон сопернику и выиграть матч.

Вот так же и неожиданные шпильки и ложные прабои отвлекают трейдера от цели.

 
Aleksey Vyazmikin:

Кстати, обратите внимание, что человек проигрывал ошибаясь в действиях (кликал криво/забывал активировать умение), но смог выиграть применив нестандартный тактический ход - постоянно отвлекал соперника высадкой десанта в тыл базы соперника, в результате чего тот вынужден был разворачивать войска для наступления на базу человека, что дало человеку время развить своих юнитов до более высокого уровня, в результате чего он смог нанести значительный урон сопернику и выиграть матч.

Вот так же и неожиданные шпильки и ложные прабои отвлекают трейдера от цели.

Ну так к следующей игре, данное не стандартное поведение уже будет обыграно ботом, понятно что на текущий момент человек может превзойти ИИ за счет не стандартного поведения, но как только ИИ "скажет" "А что так можно было....", человеку придется туго.

 
Aleksey Vyazmikin:

Я опять не понимаю вопрос, про "лично вы что то сделали в итоге" - разверните его, в каком таком итоге, и что я должен был сделать лично? Если речь идет о применении мной МО, то да, я работаю над этим вопросом по ряду направлений (создания модели, отбор, применение) - многое писал тут о своих достижениях.

Т.е. Вы уже что применяете из того, что тут озвучивали (не все читал, так как это просто не реально 1200 стр). Можете дать ссылку где это используется вами, у вас 100500 сигналов, наверное какой то из них и есть тот самый.

 
Farkhat Guzairov:

Ну так к следующей игре, данное не стандартное поведение уже будет обыграно ботом, понятно что на текущий момент человек может превзойти ИИ за счет не стандартного поведения, но как только ИИ "скажет" "А что так можно было....", человеку придется туго.

Если этот трюк будут повторять постоянно, как средство борьбы, то да, будет что-то делать, а иначе это обычный выброс, на который модель и не должна адекватно реагировать.

Причина обращения: