Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1955
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
на память
"если трейн и тест получены из разных распределений (условно). То есть того сигнала, который выучила модель на трейне — в тесте просто нет. Как бороться — простейший вариант попробовать другие схемы валидации, по времени, по различным группам, и т.д. Более сложный — это т.н. adversarial validation, когда мы сначала строим модель, чтобы отличить трейн от теста, а потом используем в качестве валидационного сета тот кусок трейна, который наиболее похож на тест."
Прочитал статью - идея интересная. Но думаю в результате будет подгонка не под трейн, а под тест. Если дальнейшие новые данные будут отличаться - опять получим 50/50
На память скидываю себе в блог. Тут потом замучаешься искать свои памятки.
Прочитал статью - идея интересная. Но думаю в результате будет подгонка не под трейн, а под тест. Если дальнейшие новые данные будут отличаться - опять получим 50/50
Хотел подметить, что не данные будут отличаться, а исход, но сейчас вот подумал, а что если действительно добавлять информацию об окружающих данных в выборки, которые неучаствовали при построении модели? Если просто на примере дерева, то перед последним сплитом смотрим статистику по другим предикторам, выявляем те, что показывают статистически положительный вариант классификации и смотрим, что б на общей выборке эти предикторы не коррелировали с предиктором в последнем сплите, тогда у нас есть дополнительная информация о состоянии рынка, которая не учитывается при выборе последнего сплита. Деревья же строются по принципу жадности и на последнем сплите конкурс среди предикторов уж точно обычно проводиться.
Тогда у нас сплит будет не просто A>X, а A>X1 && B>X2 && C>X3 - т.е. учтем информацию об окружении.
Что за аналоговые вычисления в статье - кто понял?
не буду утверждать, но подозреваю, что аналоговое число - это сразу величина, а цифровое нужно преобразовать в это число.
только вот процессор греется и боюсь, что аналоги у них со временем поплывут(дадут погрешность) и будет в добавок куча помех
не буду утверждать, но подозреваю, что аналоговое число - это сразу величина, а цифровое нужно преобразовать в это число.
только вот процессор греется и боюсь, что аналоги у них со временем поплывут(дадут погрешность) и будет в добавок куча помех
Немного не так, цифровые компьютеры работают с информацией в виде 0 и 1. Есть ток в проводнике или нет формируя массивы более высоких уровней. Аналоговый сигнал может быть преобразован в цифровой посредством дескритизации. Но тут думаю происходит сложение и математические операции не с самим фактом присутствия тока в проводнике или его отсутствия, а с уровнем напряжения в данном проводнике, которое и является тем аналоговым сигналом который они каким то образом научились складывать. Ну тупо если вам нужна цифра пять то это 5 вольт на ножке процессора, если нужна цифра 8.345354346346, то это то же самое количество вольт.
Как я говорил в своём видео существует две ахилесовы пяты которые на данный момент не реализованы по отношению к биологическому нейрону. Первое это возможно обрывать и устанавливать связи между нейронами и второе это работа в цифровом формате, где существует дескритизация в виде размерности порядка числа после запятой. В аналоговом мире эти разрядности значительно больше и я так думаю индивидуальны для каждого нейрона, то есть аналоговый сигнал имеет бесконечную разрядность, когда мы можем уточнять число на бесконечное количество цифр после запятой. Мир вещественных чисел он такой :-)
Если я правильно понял и процессор будет работать с аналоговыми сигналами то это реально прорыв где одна пятка ахилеса уже сничтожена.... Ведь внутри наших с Вами головок нейрончики как раз таки и передают между собой сигналы в аналоговом виде.
Что за аналоговые вычисления в статье - кто понял?
что то типа ламповых транзисторов, похоже, только очень маленьких.
Кстати кто был на вебинаре УИИ???? Я скидывал ссылку на него ранее???
Прикольно, они хотят к декабрю разработать устройство и софт для набора текста мыслью. В целом мне понравилось о чём они говорили и было интерессно!!!!! Кто был???
не буду утверждать, но подозреваю, что аналоговое число - это сразу величина, а цифровое нужно преобразовать в это число.
только вот процессор греется и боюсь, что аналоги у них со временем поплывут(дадут погрешность) и будет в добавок куча помех
как раз аналоговые вычисления и позволяют свести погрешности и шум к 0.
простой пример - хай энд аудиотехника как раз таки ламповая, что бы избежать дискретизации и, как следствие, потере точности.
Кстати кто был на вебинаре УИИ???? Я скидывал ссылку на него ранее???
Прикольно, они хотят к декабрю разработать устройство и софт для набора текста мыслью. В целом мне понравилось о чём они говорили и было интерессно!!!!! Кто был???
у нас уже изобрели классный мотор для электровелосипедов и продали патент за бугор, а здесь оно никому не надо
тем более набор текстов мыслью и чипование это сатанизм и вообще против церкви, за такое сжечь могут
Хотел подметить, что не данные будут отличаться, а исход, но сейчас вот подумал, а что если действительно добавлять информацию об окружающих данных в выборки, которые неучаствовали при построении модели? Если просто на примере дерева, то перед последним сплитом смотрим статистику по другим предикторам, выявляем те, что показывают статистически положительный вариант классификации и смотрим, что б на общей выборке эти предикторы не коррелировали с предиктором в последнем сплите, тогда у нас есть дополнительная информация о состоянии рынка, которая не учитывается при выборе последнего сплита. Деревья же строются по принципу жадности и на последнем сплите конкурс среди предикторов уж точно обычно проводиться.
Тогда у нас сплит будет не просто A>X, а A>X1 && B>X2 && C>X3 - т.е. учтем информацию об окружении.
На каждом сплите, а не только на последнем, выбирается лучший сплит из всех предикторов. Просто в цикле перебираются предикторы, во вложенном цикле их по разному делят и запоминают насколько чище стали данные при таком сплите. Потом берут лучший.
По статье: ключевая фраза там " «Аналоговые» технологии позволяют получить практически тот же результат при перемножении векторных матриц с допущением меньшей точности, чем при использовании данных в виде цифровых 0 и 1. "
Точность будет плавать в зависимости от окружающей температуры тундра/пустыня, от нагрева самого чипа после включения, со временем параметры некоторых элементов тоже плывут. Плюс шумы будут изменять значения, в поле их мало, под ЛЭП одни, в городе другие, около радиопередатчиков третьи и т.д.
Для грубых вычислений +-20% может и пойдет.