Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3461
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
сегодня попробую обучить модельку на 4 млн признаков, те попробую заменить обчный паттерн как фильтр на модельку как фильтр.
Это продолжение этой темы
#34553
Но сначала пообедать))
Прикольный терминал, замена стандартного, со встроенным AI помощником. Можно писать код прямо в терминале, например на пайтоне.
Можно подключить какой-нибудь текстовый редактор типа nvim, насколько понимаю, будет полноценная легковесная IDE. Люблю такие.
На данный момент бесплатный.
сегодня попробую обучить модельку на 4 млн признаков, те попробую заменить обчный паттерн как фильтр на модельку как фильтр.
Это продолжение этой темы
#34553
Но сначала пообедать))
4 млн столбцов? А строк? Если хотя бы 100 тыс, то это наверное месяцы расчетов...
4 млн столбцов? А строк? Если хотя бы 100 тыс, то это наверное месяцы расчетов...
строк +-200
ето фильтр одного паттерна, а не попытка обяснить весь рынок
Да и 4 млн это мало, на данном этапе моего понимания проблемы нужно 20 млн , но я даже с 4мя пока не знаю как справиться, это реально много..
При чем признаки уже сжаты в 50-100 раз от обычного представления..
строк +-200
ето фильтр одного паттерна, а не попытка обяснить весь рынок
Да и 4 млн это мало, на данном этапе моего понимания проблемы нужно 20 млн , но я даже с 4мя пока не знаю как справиться, это реально много..
При чем признаки уже сжаты в 50-100 раз от обычного представления..
А меньше признаков не могут его отфильтровать?
А меньше признаков не могут его отфильтровать?
В конечном итоге конечно останеться горстка золота но перед этим нужно перебрать тонну породы..
По сути я довольно не тривиально заменил огромный перебор "всего со всем" датасетом для модели, тем самым сократил перебор в тысячи раз.
Те вместо перебора трилионов паттернов у меня модель с миллинами признаков которые по сути могут тоже самое что и трилионы, только тут все и сразу.
Тут еще стоит задача как это все грамотно хранить и быстро извлекать.
Пробовал Apache Arrow, круто но что не то, или я не правильно его крутил
В конечном итоге конечно останеться горстка золота но перед этим нужно перебрать тонну породы..
По сути я довольно не тривиально заменил огромный перебор "всего со всем" датасетом для модели, тем самым сократил перебор в тысячи раз.
Те вместо перебора трилионов паттернов у меня модель с миллинами признаков которые по сути могут тоже самое что и трилионы, только тут все и сразу.
Тут еще стоит задача как это все грамотно хранить и быстро извлекать.
Пробовал Apache Arrow, круто но что не то, или я не правильно его крутил
Ничего не понятно, но очень интересно )
В конечном итоге конечно останеться горстка золота но перед этим нужно перебрать тонну породы..
По сути я довольно не тривиально заменил огромный перебор "всего со всем" датасетом для модели, тем самым сократил перебор в тысячи раз.
Те вместо перебора трилионов паттернов у меня модель с миллинами признаков которые по сути могут тоже самое что и трилионы, только тут все и сразу.
Тут еще стоит задача как это все грамотно хранить и быстро извлекать.
Пробовал Apache Arrow, круто но что не то, или я не правильно его крутил
Попробуй "fst". Хорошо сжимает и позволяет произвольный доступ из сжатого файла
прочитали мой вопрос в телеге про БД что ли? :)
А он может читать/фильтровать по условию типа x[ А==3 & B>=4, ]
Я что то не нашелили только from\ to
Придумал и реализовал ZZ для тиков за ночь на Python :) А у вас что нового?
Одна настройка всего. Ниже два варианта с настройкой 50 и 25.