Так вот, если предикторов с оценкой менее 2 слишком много, то полезные предикторы иными способами кроме моих выделить не удается. Как это истолковать - не знаю. Не будем забывать, что предикторы имеют влияние не только на целевую переменную, но и между собой. Очень часто важен не только перечень удаляемых предикторов , но и порядок их удаление.
Понятно, что предикторы взаимозависимы обычно.
Вы, я чувствую, ведете к использованию стохастических методов, типа имитации отжига. Я это использую тоже. У меня тоже есть программа, которая умеет довольно смышлено вычислять релевантность набора предикторов (1 и более) на целевую переменную, и туда подставлял и жадные методы отбора и стохастические. Где-то жадные работают лучше, где-то стохастические.
НО! Если я юзаю лес решений (или GBM) и вывожу значимость переменных по обученной модели, то я вижу, что часть из них просто редко или никогда не используется.
Вы говорите, что снижение размерности способно улучшить качество модели (уменьшить подгонку)? Это применимо к лесу решений?
Позвольте спросить ваше мнение, рынок форекс в частности валюты это действительно цена спроса и предложения (люди покупают и продают) либо это автоматизированная система для отнятия денег? Как (казино) я видел как на рулетке шарик падал туда, куда не должен был упасть, работал магнит 100% уверен если хотите 1000%. Поясню почему такой вопрос, цена умудряется ходить таким образом, что системы которые я использовал в том числе и я сам, теряли деньги, судя по форуму не я один такой, т.е выносит всех.
Вы, я чувствую, ведете к использованию стохастических методов, типа имитации отжига. Я это использую тоже. У меня тоже есть программа, которая умеет довольно смышлено вычислять релевантность набора предикторов (1 и более) на целевую переменную, и туда подставлял и жадные методы отбора и стохастические. Где-то жадные работают лучше, где-то стохастические.
НО! Если я юзаю лес решений (или GBM) и вывожу значимость переменных по обученной модели, то я вижу, что часть из них просто редко или никогда не используется.
Вы говорите, что снижение размерности способно улучшить качество модели (уменьшить подгонку)? Это применимо к лесу решений?
SVM, ada, разнообразные деревья.
Снижение размерности - такая цель не ставилась.
Берутся предикторы, имеющие отношение к целевой переменной и на этом наборе запускается алгоритм отбора предикторов. Что он даст в очередном окне - не известно: может быть оставит все предикторы, может быть часть....
ПС
О GBM. Почему-то не получил результатов лучше чем ada...
ПСПС
По моим результатам самые эффективные алгоритмы отбора предикторов в Caret (rfe, saf, gaf). К сожалению не для всех моделей. У Вас имеется опыт их использования?
Mikhail Gorenberg: Позвольте спросить ваше мнение, рынок форекс в частности валюты это действительно цена спроса и предложения (люди покупают и продают) либо это автоматизированная система для отнятия денег? Как (казино) я видел как на рулетке шарик падал туда, куда не должен был упасть, работал магнит 100% уверен если хотите 1000%. Поясню почему такой вопрос, цена умудряется ходить таким образом, что системы которые я использовал в том числе и я сам, теряли деньги, судя по форуму не я один такой, т.е выносит всех.
Вот это особенно: "The OCC also found that traders discussed actions that would potentially hurt their clients but benefit themselves and their banks and agreed not to trade in particular currencies."
Six of the world’s largest banks have been fined a total of about $4.3 billion for conspiring last year to rig foreign-exchange rates, financial regulators in the U.S., Britain and Switzerland announced on Wednesday. Reaching settlements with the regulators were Bank of America (NYSE: BAC), J.P. Morgan Chase (NYSE: JPM), Citibank (NYSE: C...
Mikhail Gorenberg: Позвольте спросить ваше мнение, рынок форекс в частности валюты это действительно цена спроса и предложения (люди покупают и продают) либо это автоматизированная система для отнятия денег? Как (казино) я видел как на рулетке шарик падал туда, куда не должен был упасть, работал магнит 100% уверен если хотите 1000%. Поясню почему такой вопрос, цена умудряется ходить таким образом, что системы которые я использовал в том числе и я сам, теряли деньги, судя по форуму не я один такой, т.е выносит всех.
Если Вы не гонитесь за тысячами процентов в месяц, ограничиваете свои риски, то можно работать на любом рынке, где много участников и высокая ликвидность. Для начала, не используйте мартингейл ни в каком виде. :) А движение цен (среднесрочные и долгосрочные тренды) определяется не шестью даже очень могучими банками, а фундаментальными причинами - торговый баланс, учетная ставка, индекс цен и т.п.
Берутся предикторы, имеющие отношение к целевой переменной и на этом наборе запускается алгоритм отбора предикторов. Что он даст в очередном окне - не известно: может быть оставит все предикторы, может быть часть....
ПС
О GBM. Почему-то не получил результатов лучше чем ada...
ПСПС
По моим результатам самые эффективные алгоритмы отбора предикторов в Caret (rfe, saf, gaf). К сожалению не для всех моделей. У Вас имеется опыт их использования?
Я использую либо метрику важности в лесе решений, либо информационную (на основе взаимной информации). Вообще считаю, что в моделях типа лес решений предварительный отбор производить не обязательно. Читайте пожалуйста мое обновление в блогах завтра или послезавтра. Я подробнее покажу подход.
Берутся предикторы, имеющие отношение к целевой переменной и на этом наборе запускается алгоритм отбора предикторов. Что он даст в очередном окне - не известно: может быть оставит все предикторы, может быть часть....
ПС
О GBM. Почему-то не получил результатов лучше чем ada...
ПСПС
По моим результатам самые эффективные алгоритмы отбора предикторов в Caret (rfe, saf, gaf). К сожалению не для всех моделей. У Вас имеется опыт их использования?
Alexey Burnakov: Я использую либо метрику важности в лесе решений, либо информационную (на основе взаимной информации). Вообще считаю, что в моделях типа лес решений предварительный отбор производить не обязательно......
Да.
А с Фоменко и пр. поосторожней... таво и гляди заведут в случайный лес)))
Так вот, если предикторов с оценкой менее 2 слишком много, то полезные предикторы иными способами кроме моих выделить не удается. Как это истолковать - не знаю. Не будем забывать, что предикторы имеют влияние не только на целевую переменную, но и между собой. Очень часто важен не только перечень удаляемых предикторов , но и порядок их удаление.
Понятно, что предикторы взаимозависимы обычно.
Вы, я чувствую, ведете к использованию стохастических методов, типа имитации отжига. Я это использую тоже. У меня тоже есть программа, которая умеет довольно смышлено вычислять релевантность набора предикторов (1 и более) на целевую переменную, и туда подставлял и жадные методы отбора и стохастические. Где-то жадные работают лучше, где-то стохастические.
НО! Если я юзаю лес решений (или GBM) и вывожу значимость переменных по обученной модели, то я вижу, что часть из них просто редко или никогда не используется.
Вы говорите, что снижение размерности способно улучшить качество модели (уменьшить подгонку)? Это применимо к лесу решений?
Не удивительно, вы же не ботаете в понятиях квантилей, кроссвалидаций и бутстрепов.
Понятно, что предикторы взаимозависимы обычно.
Вы, я чувствую, ведете к использованию стохастических методов, типа имитации отжига. Я это использую тоже. У меня тоже есть программа, которая умеет довольно смышлено вычислять релевантность набора предикторов (1 и более) на целевую переменную, и туда подставлял и жадные методы отбора и стохастические. Где-то жадные работают лучше, где-то стохастические.
НО! Если я юзаю лес решений (или GBM) и вывожу значимость переменных по обученной модели, то я вижу, что часть из них просто редко или никогда не используется.
Вы говорите, что снижение размерности способно улучшить качество модели (уменьшить подгонку)? Это применимо к лесу решений?
SVM, ada, разнообразные деревья.
Снижение размерности - такая цель не ставилась.
Берутся предикторы, имеющие отношение к целевой переменной и на этом наборе запускается алгоритм отбора предикторов. Что он даст в очередном окне - не известно: может быть оставит все предикторы, может быть часть....
ПС
О GBM. Почему-то не получил результатов лучше чем ada...
ПСПС
По моим результатам самые эффективные алгоритмы отбора предикторов в Caret (rfe, saf, gaf). К сожалению не для всех моделей. У Вас имеется опыт их использования?
Позвольте спросить ваше мнение, рынок форекс в частности валюты это действительно цена спроса и предложения (люди покупают и продают) либо это автоматизированная система для отнятия денег? Как (казино) я видел как на рулетке шарик падал туда, куда не должен был упасть, работал магнит 100% уверен если хотите 1000%. Поясню почему такой вопрос, цена умудряется ходить таким образом, что системы которые я использовал в том числе и я сам, теряли деньги, судя по форуму не я один такой, т.е выносит всех.
Читайте здесь: http://www.foxbusiness.com/features/2014/11/12/six-big-banks-fined-43b-in-fx-rate-rigging-scam.html
Вот это особенно: "The OCC also found that traders discussed actions that would potentially hurt their clients but benefit themselves and their banks and agreed not to trade in particular currencies."
Позвольте спросить ваше мнение, рынок форекс в частности валюты это действительно цена спроса и предложения (люди покупают и продают) либо это автоматизированная система для отнятия денег? Как (казино) я видел как на рулетке шарик падал туда, куда не должен был упасть, работал магнит 100% уверен если хотите 1000%. Поясню почему такой вопрос, цена умудряется ходить таким образом, что системы которые я использовал в том числе и я сам, теряли деньги, судя по форуму не я один такой, т.е выносит всех.
Для начала, не используйте мартингейл ни в каком виде. :)
А движение цен (среднесрочные и долгосрочные тренды) определяется не шестью даже очень могучими банками, а фундаментальными причинами - торговый баланс, учетная ставка, индекс цен и т.п.
SVM, ada, разнообразные деревья.
Снижение размерности - такая цель не ставилась.
Берутся предикторы, имеющие отношение к целевой переменной и на этом наборе запускается алгоритм отбора предикторов. Что он даст в очередном окне - не известно: может быть оставит все предикторы, может быть часть....
ПС
О GBM. Почему-то не получил результатов лучше чем ada...
ПСПС
По моим результатам самые эффективные алгоритмы отбора предикторов в Caret (rfe, saf, gaf). К сожалению не для всех моделей. У Вас имеется опыт их использования?
SVM, ada, разнообразные деревья.
Снижение размерности - такая цель не ставилась.
Берутся предикторы, имеющие отношение к целевой переменной и на этом наборе запускается алгоритм отбора предикторов. Что он даст в очередном окне - не известно: может быть оставит все предикторы, может быть часть....
ПС
О GBM. Почему-то не получил результатов лучше чем ada...
ПСПС
По моим результатам самые эффективные алгоритмы отбора предикторов в Caret (rfe, saf, gaf). К сожалению не для всех моделей. У Вас имеется опыт их использования?
Я использую либо метрику важности в лесе решений, либо информационную (на основе взаимной информации). Вообще считаю, что в моделях типа лес решений предварительный отбор производить не обязательно......
А с Фоменко и пр. поосторожней... таво и гляди заведут в случайный лес)))
Да.
А с Фоменко и пр. поосторожней... таво и гляди заведут в случайный лес)))