Maxim Dmitrievsky #: Ну как бы типа нет, не упадет. Но если ждать бесконечность и случайно инициализировать веса, без обучения как такового, то может быть.
Ты нейронки не юзай для ТС, это бесперспективняк. Они в принципе долго учатся. Попроси чат сделать через случайный лес или бустинг. Результаты будут лучше и быстрее.
Каждый раз обучение заканчивается уникальным набором весов. Если зациклить обучение с постоянной переинициализацией весов, существует ли вероятность того, что через какое-то время ошибка улетит на дно как на обучающей выборке, так и на тестовой?
Ivan Butko #: Там, когда он запускает скрипт НС (любой архитектуры), во время обучения принтуется ошибка, которая уменьшается-уменьшается... уменьшается. И потом Питон такой "хорош, вырубаю, ошика больше не уменьшается".
Это называется "застревание" метода оптимизации, используемого при обучении, поэтому результаты всегда разные, иногда значительно разные.
Тут два пути:
1) Зациклить обучение и ждать, когда произойдет дальнейшее снижение ошибки.
2) сменить метод оптимизации на более продвинутый, который за гораздо меньшее количество итераций проскочит проблемное место в пространстве поиска.
Второй способ намного менее затратный как по времени, так по затратам энергии и нервов.
Методы оптимизации как бензин, если бензин плохой, то тачка может просто заглохнуть (застрять), а если хороший, то тачка едет быстрее и не глохнет. А куда именно приедет тачка - это уже другой вопрос и относится к набору применяемых метрик.
На табличных данных, а табличные - это типа неоднородные. Объёмы, цены, индикаторы, прочая ерунда, выигрывают лес и бустинг. Можно даже не нормировать. Нейронки получше на однородных типа сигналов датчиков, картинках (пикселях). И скорость. Нейронки слоупоки в обучении. Если ты, допустим, такой изобретатель и у тебя 100500 идей, то через нейронки ты их никогда все не проверишь. Времени не хватит.
Посмотрел несколько видео - под большим сомнением, конечно, что это ребенок, но если это НС, то очень впечатляет - голос не отличить от живого, с интонациями, оборотами, словами паразитами...
Andrey Dik #: Ну вот, вы и подтвердили мои слова. Методы МО (и теория это подтверждает) позволяют аппроксимировать любую непрерывную функцию с любой точностью, но экстраполировать с той же точностью что и на участке аппроксимации не могут (достоверно выбрать тот сет, который позволит экстраполировать на оос, ведь этот сет существует, но способов его выбрать нет). А в этом и есть смысл прогнозирования, сначала аппроксимировать имеющуюся информацию а потом экстраполировать. Ровно об этом я и говорил.
Еще одно заблуждение, что прогнозирование это обязательно экстраполяция. И что она описывает задачи прогнозирования с помощью ML.
Нейросети вообще не умеют экстраполировать. И нет никакого смысла в том, чтобы сначала аппроксимировать, а потом экстраполировать c помощью МО.
Это обсуждалось еще в сааамом начале темы.
///
То есть сначала ставится недостижимая некорректная задача, а потом активно проповедуется. Из нее же возникает завтык с пониманием невозможности экстраполяции ф-й (такой задачи просто не стоит!)
Столько безумной информации, что реагировать на все не хватит сил и времени :)
Maxim Dmitrievsky #: Нейросети вообще не умеют экстраполировать
это с чего такой вывод ?
нейронка де-факто это пачка специальных матриц (для совсем произвольных методов нет, а вот для подобных придумано) и всё её обучение это просто подбор коэфф.
а само обучение (в нашем случае) производится с целью экстраполяций. Как научили, так и получили..Вполне экстраполяция, нейронки не виноваты :-)
нейронка де-факто это пачка специальных матриц (для совсем произвольных методов нет, а вот для подобных придумано) и всё её обучение это просто подбор коэфф.
а само обучение (в нашем случае) производится с целью экстраполяций. Как научили, так и получили..Вполне экстраполяция, нейронки не виноваты :-)
Где такому учат?
Попытки такие конечно делаются, но MLP, о котором шла речь, на это точно не способен.
Ну как бы типа нет, не упадет. Но если ждать бесконечность и случайно инициализировать веса, без обучения как такового, то может быть.
Чат тоже самое сказал.
Говорит миллиард лет подожди
Чат тоже самое сказал.
Говорит миллиард лет подожди
Каждый раз обучение заканчивается уникальным набором весов.
Если зациклить обучение с постоянной переинициализацией весов, существует ли вероятность того, что через какое-то время ошибка улетит на дно как на обучающей выборке, так и на тестовой?
Там, когда он запускает скрипт НС (любой архитектуры), во время обучения принтуется ошибка, которая уменьшается-уменьшается... уменьшается. И потом Питон такой "хорош, вырубаю, ошика больше не уменьшается".
Это называется "застревание" метода оптимизации, используемого при обучении, поэтому результаты всегда разные, иногда значительно разные.
Тут два пути:
1) Зациклить обучение и ждать, когда произойдет дальнейшее снижение ошибки.
2) сменить метод оптимизации на более продвинутый, который за гораздо меньшее количество итераций проскочит проблемное место в пространстве поиска.
Второй способ намного менее затратный как по времени, так по затратам энергии и нервов.
Методы оптимизации как бензин, если бензин плохой, то тачка может просто заглохнуть (застрять), а если хороший, то тачка едет быстрее и не глохнет. А куда именно приедет тачка - это уже другой вопрос и относится к набору применяемых метрик.
МО - это для детей оказывается нынче
Посмотрел несколько видео - под большим сомнением, конечно, что это ребенок, но если это НС, то очень впечатляет - голос не отличить от живого, с интонациями, оборотами, словами паразитами...
А мы тут всё в своей песочнице ковыряемся...
Тут, кстати, для НС задачка сложней была бы...
Такой вопрос по признакам переменной длины есть.
Это будет чем-то отличаться от разделения ВР на несколько состояний?
Ведь по сути разная длина признаков и должна как-то дифференцировать эти состояния для модели.
С такой точки зрения нет же смысла заморачиваться? Если уже есть разделение на состояния.
Ну вот, вы и подтвердили мои слова. Методы МО (и теория это подтверждает) позволяют аппроксимировать любую непрерывную функцию с любой точностью, но экстраполировать с той же точностью что и на участке аппроксимации не могут (достоверно выбрать тот сет, который позволит экстраполировать на оос, ведь этот сет существует, но способов его выбрать нет). А в этом и есть смысл прогнозирования, сначала аппроксимировать имеющуюся информацию а потом экстраполировать. Ровно об этом я и говорил.
Еще одно заблуждение, что прогнозирование это обязательно экстраполяция. И что она описывает задачи прогнозирования с помощью ML.
Нейросети вообще не умеют экстраполировать. И нет никакого смысла в том, чтобы сначала аппроксимировать, а потом экстраполировать c помощью МО.
Это обсуждалось еще в сааамом начале темы.
///
То есть сначала ставится недостижимая некорректная задача, а потом активно проповедуется. Из нее же возникает завтык с пониманием невозможности экстраполяции ф-й (такой задачи просто не стоит!)
Столько безумной информации, что реагировать на все не хватит сил и времени :)
Нейросети вообще не умеют экстраполировать
это с чего такой вывод ?
нейронка де-факто это пачка специальных матриц (для совсем произвольных методов нет, а вот для подобных придумано) и всё её обучение это просто подбор коэфф.
а само обучение (в нашем случае) производится с целью экстраполяций. Как научили, так и получили..Вполне экстраполяция, нейронки не виноваты :-)
это с чего такой вывод ?
нейронка де-факто это пачка специальных матриц (для совсем произвольных методов нет, а вот для подобных придумано) и всё её обучение это просто подбор коэфф.
а само обучение (в нашем случае) производится с целью экстраполяций. Как научили, так и получили..Вполне экстраполяция, нейронки не виноваты :-)
Где такому учат?
Попытки такие конечно делаются, но MLP, о котором шла речь, на это точно не способен.