только у него какая-то дурь, в конце только покупать учится почему-то
У меня та же ситуация - НС класификатор часто в один класс заваливается. Классы надо выравнивать. Но у меня 95% одного класса и 5 % второго. *20 объем строк нет желания. Вот примерно так же, как в той статье и у меня получается.
Думаю на регрессиию/прогноз перейти - поэкспериментировать, что там будет...
только у него какая-то дурь, в конце только покупать учится почему-то
Ну так он там сам объяснил, что это нормально, ведь там явный бычий тренд. Там комментатор один тоже говорит, что его агент предпочитает удержания длинной позиции. Да и автор сам говорит про небольшую длину истории. Также в коде он не использовал гамму для регулирования ценности награды во времени.
А вообще статья полезна тем, что в коде он приводит ссылки на две хорошие библиотеки. Одна для загрузки различных рыночных данных, другая для применения на данных различных индикаторов. Забрал себе.
У меня та же ситуация - НС класификатор часто в один класс заваливается. Классы надо выравнивать. Но у меня 95% одного класса и 5 % второго. *20 объем строк нет желания. Вот примерно так же, как в той статье и у меня получается.
Думаю на регрессиию/прогноз перейти - поэкспериментировать, что там будет...
Тоже сталкиваюсь с этой ситуацией. Отбор признаков, регуляризация и много дропаутов, делают модель более стабильной. Все без выравнивания, чистым потоком временной серии.
Я почему-то много провозился с классами. В моем случае (ml-assistant), сохранение сигналов происходит одним числом [-1,1]. То есть по идее можно сразу регрессию строить (что также вполне хорошо выходит), но там менее "читабельный" прогноз. Для классификации же нужно их разбить на классы, и идее софтмакса, приравнять сумму классов к 1.0. Но в итоге самым верным оказалось просто делить их относительно нуля, модель сама нормирует сумму классов к 1, независимо от таргета.
А вот при добавлении третьего класса pass, почему-то постоянное переобучение. Возможно я неправильно его готовлю. =)
У меня та же ситуация - НС класификатор часто в один класс заваливается. Классы надо выравнивать. Но у меня 95% одного класса и 5 % второго. *20 объем строк нет желания. Вот примерно так же, как в той статье и у меня получается.
Думаю на регрессиию/прогноз перейти - поэкспериментировать, что там будет...
Из 10-12 тыс выборки: ~800 - класс 1, остальные класс 0. Такова реальность.)
В умной книге читал, что количественное соотношение классов в обуч последовательности должно быть близко к реальности.
Mihail Marchukajtes: Всем привет!!! Ктонибудь может толком объяснить смысл отрицательной энтропии? Простым языком......
Вот что пишут умные люди:
"Негэнтропия θ соответствует некоторой «структурной» величине. которая определяется характерным объемом памяти о прошлом. При больших θ возникают сложные иерархические структуры в широком диапазоне, при малых θ — структуры в малом диапазоне, а при θ → 0, т.е. отсутствии информации о прошлом, происходит предельный переход к марковским процессам".
Фактически, это величина, характеризующая немарковость процесса. Т.к. я работаю с распределениями вероятностей, то выяснил, что эта вещь отвечает за вид "хвостов" распределений.
Mihail Marchukajtes: Всем привет!!! Ктонибудь может толком объяснить смысл отрицательной энтропии? Простым языком......
Энтропия - мера беспорядочности или хаоса, негэнтропия (отрицательная энтропия) - мера порядочности и степени самоорганизации. Не растворенный сахар в стакане система имеет минимальную энтропию, после полного растворения - система имеет максимальную энтропию. Чтобы вернуть систему в исходное состояние, нужно импортировать энтропию извне - создать условие кристаллизации. Применительно к НС система должна постоянно впитывать новую информацию извне и избавляться от ненужной, иначе, повышение энтропии приведет к ее смерти.
Энтропия - мера беспорядочности или хаоса, негэнтропия (отрицательная энтропия) - мера порядочности и степени самоорганизации. Не растворенный сахар в стакане система имеет минимальную энтропию, после полного растворения - система имеет максимальную энтропию. Чтобы вернуть систему в исходное состояние, нужно импортировать энтропию извне - создать условие кристаллизации. Применительно к НС система должна постоянно впитывать новую информацию извне и избавляться от ненужной, иначе, повышение энтропии приведет к ее смерти.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
я тут про реинфорсмент лернинг все интересуюсь, вот нашел интересную статью, пытаюсь вкупиться и мб к боту прикрутить
https://hackernoon.com/the-self-learning-quant-d3329fcc9915
только у него какая-то дурь, в конце только покупать учится почему-то
У меня та же ситуация - НС класификатор часто в один класс заваливается. Классы надо выравнивать. Но у меня 95% одного класса и 5 % второго. *20 объем строк нет желания.
Вот примерно так же, как в той статье и у меня получается.
Думаю на регрессиию/прогноз перейти - поэкспериментировать, что там будет...
я тут про реинфорсмент лернинг все интересуюсь, вот нашел интересную статью, пытаюсь вкупиться и мб к боту прикрутить
https://hackernoon.com/the-self-learning-quant-d3329fcc9915
только у него какая-то дурь, в конце только покупать учится почему-то
А вообще статья полезна тем, что в коде он приводит ссылки на две хорошие библиотеки.
Одна для загрузки различных рыночных данных, другая для применения на данных различных индикаторов. Забрал себе.
https://www.quandl.com/tools/python
https://mrjbq7.github.io/ta-lib/
У меня та же ситуация - НС класификатор часто в один класс заваливается. Классы надо выравнивать. Но у меня 95% одного класса и 5 % второго. *20 объем строк нет желания.
Вот примерно так же, как в той статье и у меня получается.
Думаю на регрессиию/прогноз перейти - поэкспериментировать, что там будет...
Тоже сталкиваюсь с этой ситуацией.
Отбор признаков, регуляризация и много дропаутов, делают модель более стабильной. Все без выравнивания, чистым потоком временной серии.
Я почему-то много провозился с классами. В моем случае (ml-assistant), сохранение сигналов происходит одним числом [-1,1]. То есть по идее можно сразу регрессию строить (что также вполне хорошо выходит), но там менее "читабельный" прогноз.
Для классификации же нужно их разбить на классы, и идее софтмакса, приравнять сумму классов к 1.0. Но в итоге самым верным оказалось просто делить их относительно нуля, модель сама нормирует сумму классов к 1, независимо от таргета.
А вот при добавлении третьего класса pass, почему-то постоянное переобучение. Возможно я неправильно его готовлю. =)
У меня та же ситуация - НС класификатор часто в один класс заваливается. Классы надо выравнивать. Но у меня 95% одного класса и 5 % второго. *20 объем строк нет желания.
Вот примерно так же, как в той статье и у меня получается.
Думаю на регрессиию/прогноз перейти - поэкспериментировать, что там будет...
Из 10-12 тыс выборки: ~800 - класс 1, остальные класс 0. Такова реальность.)
В умной книге читал, что количественное соотношение классов в обуч последовательности должно быть близко к реальности.
Из 10-12 тыс выборки: ~800 - класс 1, остальные класс 0. Такова реальность.)
В умной книге читал, что количественное соотношение классов в обуч последовательности должно быть близко к реальности.
а в др. умных книгах говорят что классы надо балансировать\объединять
на форексе то мы понятия не имеем о генеральной совокупности, да и по здоровой логике кол-во элементов в классах должно быть примерно равно
Просто интересное видео про случайность от умного дядьки
Всем привет!!! Ктонибудь может толком объяснить смысл отрицательной энтропии? Простым языком......
Вот что пишут умные люди:
"Негэнтропия θ соответствует некоторой «структурной» величине. которая определяется характерным объемом памяти о прошлом. При больших θ возникают сложные иерархические структуры в широком диапазоне, при малых θ — структуры в малом диапазоне, а при θ → 0, т.е. отсутствии информации о прошлом, происходит предельный переход к марковским процессам".
Фактически, это величина, характеризующая немарковость процесса. Т.к. я работаю с распределениями вероятностей, то выяснил, что эта вещь отвечает за вид "хвостов" распределений.Всем привет!!! Ктонибудь может толком объяснить смысл отрицательной энтропии? Простым языком......
Энтропия - мера беспорядочности или хаоса, негэнтропия (отрицательная энтропия) - мера порядочности и степени самоорганизации. Не растворенный сахар в стакане система имеет минимальную энтропию, после полного растворения - система имеет максимальную энтропию. Чтобы вернуть систему в исходное состояние, нужно импортировать энтропию извне - создать условие кристаллизации. Применительно к НС система должна постоянно впитывать новую информацию извне и избавляться от ненужной, иначе, повышение энтропии приведет к ее смерти.
Энтропия - мера беспорядочности или хаоса, негэнтропия (отрицательная энтропия) - мера порядочности и степени самоорганизации. Не растворенный сахар в стакане система имеет минимальную энтропию, после полного растворения - система имеет максимальную энтропию. Чтобы вернуть систему в исходное состояние, нужно импортировать энтропию извне - создать условие кристаллизации. Применительно к НС система должна постоянно впитывать новую информацию извне и избавляться от ненужной, иначе, повышение энтропии приведет к ее смерти.
Отличный комментарий. Именно так.