Есть ли закономерность в хаосе? Попробуем поискать! Машинное обучение на примере конкретной выборки. - страница 7
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Могу сказать, какие предикторы использовала одна из моделей - проверите, успешно ли обучитесь (почти не сомневаюсь) - надо?
Можно номера столбцов через запятую. Интересно сравнить.
Можно номера столбцов через запятую. Интересно сравнить.
Первый столбец - нулевой или "1"? :)
Вот с нуля отсчет
Вот ещё вариант - нравится даже больше, так как на всех выборках стабильный результат.
Первый столбец - нулевой или "1"? :)
Вот с нуля отсчет
У меня с 0. Завтра попробую обучить.
Должно получиться - предикторов мало. Хотя, для отсева я использовал свой метод, создав принудительные квантовые таблицы, а потом уже из них алгоритм сделал отбор.
Вопрос тут в том, как можно определить признаки предиктора, что бы научиться их отбирать до начала обучения...
Есть ли закономерность в хаосе?
Сама постановка вопроса - ошибочна! Само определение "ХАОС" - это состояние, где закономерности ОТСУТСТВУЮТ...
Начинать нужно не с ХАОСА, а с поиска состояния, похожего на РЫНОК!
И это будет не хаос, а некоторое промежуточное состояние между хаосом и упорядоченными данными...
А искать закономерности в хаосе - это глупость... ( читайте определение "хаоса" )...
Рынок - это полный хаос, но в нём нужно уметь увидеть систему. А точнее загнать рынок в прокрустово ложе системы.
Это смахивает на выражение: "Сделать из говна конфетку!" - народная мудрость...
На самом деле все строго НАОБОРОТ: Рынок - это СИСТЕМА! И нужно излечить мозги от хаоса, чтобы разобраться в этой системе...
Должно получиться - предикторов мало. Хотя, для отсева я использовал свой метод, создав принудительные квантовые таблицы, а потом уже из них алгоритм сделал отбор.
Вопрос тут в том, как можно определить признаки предиктора, что бы научиться их отбирать до начала обучения...
Кстати, ваши данные - реально можно к Биг Дата отнести...
250 миллионов ячеек в таблице.
Сколько по времени катбуст 1 модель обучает на полном датасете?
Кстати, ваши данные - реально можно к Биг Дата отнести...
250 миллионов ячеек в таблице.
Да, данных много, и я планирую ещё добавлять - поэтому требуется развитие методики отсева до начала обучения.
Сколько по времени катбуст 1 модель обучает на полном датасете?
Как раз сейчас обучаю, и скажу, что многое зависит от настроек, особенно от числа сплитов в квантовых таблицах.
Как раз запустил эксперимент, где обучение идет с параметрами по умолчанию на видеокарте - один проход, без учета оценки модели и теста на выборке exam, занимает 2-3 минуты - в зависимости от получившегося числа деревьев в модели. На моем, уже довольно устаревшем процессоре FX-8350, примерно на 60% медленней получается.
Считаю, что скорость вполне приемлемая, я обычно обучаю 100 моделей с фиксированным seed, что бы усреднить эффективность метода.
Если обучать до "упора", то там программа оценивает время до 2х часов.